Media de la muestra bootstrap frente a la estadística de la muestra

Question

Digamos que tengo un muestra y el muestra de bootstrap de esta muestra para una estástica $\chi$ (por ejemplo, la media). Como todos sabemos, esta muestra bootstrap estimaciones el distribución del muestreo del estimador de la estadística.

Ahora, ¿es la media de este muestra de bootstrap una mejor estimación de la estadística de la población que la estadística del original muestra ? ¿En qué condiciones sería así?

Answer 1

Vamos a generalizar, para centrarnos en el quid de la cuestión. Explicaré los más mínimos detalles para que no queden dudas. El análisis sólo requiere lo siguiente:

1. El media aritmética de un conjunto de números $z_1, \ldots, z_m$ se define como

   $$\frac{1}{m}\left(z_1 + \cdots + z_m\right).$$

2. La expectativa es un operador lineal. Es decir, cuando $Z_i, i=1,\ldots,m$ son variables aleatorias y $\alpha_i$ son números, entonces la expectativa de una combinación lineal es la combinación lineal de las expectativas,

   $$\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$$

Dejemos que $B$ sea una muestra $(B_1, \ldots, B_k)$ obtenido de un conjunto de datos $x = (x_1, \ldots, x_n)$ tomando $k$ elementos uniformemente de $x$ con la sustitución. Deje que $m(B)$ sea la media aritmética de $B$ . Se trata de una variable aleatoria. Entonces

$$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$$

se sigue por linealidad de la expectativa. Como los elementos de $B$ se obtienen de la misma manera, todos tienen la misma expectativa, $b$ decir:

$$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$$

Esto simplifica lo anterior a

$$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$$

Por definición, la expectativa es la suma de valores ponderada por la probabilidad. Como cada valor de $X$ se supone que tiene la misma probabilidad de $1/n$ de ser seleccionado,

$$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$$

la media aritmética de los datos.

Para responder a la pregunta, si se utiliza la media de los datos $\bar x$ para estimar la media poblacional, entonces la media bootstrap (que es el caso $k=n$ ) también es igual a $\bar x$ y por lo tanto es idéntico como estimador de la media de la población.

---

En el caso de las estadísticas que no son funciones lineales de los datos, el mismo resultado no es necesariamente válido. Sin embargo, sería un error sustituir simplemente la media del bootstrap por el valor de la estadística en los datos: no es así como funciona el bootstrap. En su lugar, comparando la media del bootstrap con la estadística de los datos obtenemos información sobre el sesgo de la estadística. Esto puede utilizarse para ajustar la estadística original para eliminar el sesgo. Así, la estimación corregida por el sesgo se convierte en una combinación algebraica de la estadística original y la media del bootstrap. Para más información, busque "BCa" (bias-corrected and accelerated bootstrap) y "ABC". Wikipedia proporciona algunas referencias.

Answer 2

Dado que la distribución bootstrap asociada a una muestra iid $X_1,\ldots,X_n$ se define como $$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$$ la media de la distribución bootstrap $\hat{F}_n$ (condicionado a la muestra iid $X_1,\ldots,X_n$ ) es $$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$$ Cuando usted (si tiene que hacerlo) implementa una versión de simulación de esta expectativa, es decir, calcula un promedio de $B$ sorteos aleatorios de $\hat{F}_n$ , $$\hat{\mathbb{E}}_{\hat{F}_n}[X]=\frac{1}{B} \sum_{b=1}^B X^*_b \qquad X^*_i\stackrel{\text{iid}}{\sim}\hat F_n(x)\,,$$ hay cierta variabilidad de Monte Carlo en esta aproximación de $\mathbb{E}_{\hat{F}_n}[X]$ pero su media (la expectativa de la media empírica, condicionada a la muestra original $X_1,\ldots,X_n$ ) y su límite cuando el número $B$ de simulaciones bootstrap crece hasta el infinito son ambos exactamente $\bar{X}_ n$ .