¿En qué medida el bootstrapping aproxima la distribución muestral de un estimador?

Question

Tras haber estudiado recientemente el bootstrap, se me ha planteado una cuestión conceptual que aún me desconcierta:

Tienes una población y quieres conocer un atributo de la población, es decir $\theta=g(P)$ donde utilizo $P$ para representar a la población. Este $\theta$ podría ser la media de la población, por ejemplo. Normalmente no se pueden obtener todos los datos de la población. Así que se extrae una muestra $X$ de tamaño $N$ de la población. Supongamos que tienes una muestra i.i.d. para simplificar. Entonces se obtiene el estimador $\hat{\theta}=g(X)$ . Desea utilizar $\hat{\theta}$ hacer inferencias sobre $\theta$ por lo que le gustaría conocer la variabilidad de $\hat{\theta}$ .

En primer lugar, existe un verdadero distribución muestral de $\hat{\theta}$ . Conceptualmente, se podrían extraer muchas muestras (cada una de ellas tiene tamaño $N$ ) de la población. Cada vez tendrá una realización de $\hat{\theta}=g(X)$ ya que cada vez tendrá una muestra diferente. Entonces, al final, podrá recuperar la verdadero distribución de $\hat{\theta}$ . De acuerdo, este es al menos el punto de referencia conceptual para la estimación de la distribución de $\hat{\theta}$ . Permítanme reformularlo: el objetivo final es utilizar diversos métodos para estimar o aproximar la verdadero distribución de $\hat{\theta}$ .

Ahora, aquí viene la pregunta. Normalmente, sólo tienes una muestra $X$ que contiene $N$ puntos de datos. A continuación, se vuelve a muestrear a partir de esta muestra muchas veces, y se obtendrá una distribución bootstrap de $\hat{\theta}$ . Mi pregunta es: ¿cuánto se parece esta distribución bootstrap a la verdadero distribución muestral de $\hat{\theta}$ ? ¿Hay alguna forma de cuantificarlo?

Answer 1

Bootstrap se basa en la convergencia de la cdf empírica a la cdf verdadera, es decir, $$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$$ converge (como $n$ llega hasta el infinito) a $F(x)$ para cada $x$ . Por lo tanto, la convergencia de la distribución bootstrap de $\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$ es impulsada por esta convergencia que se produce a un ritmo $\sqrt{n}$ pour cada $x$ ya que $$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$$ aunque esta distribución de tasas y límites no se traslade automáticamente a $g(\hat{F}_n)$ . En la práctica, para evaluar la variabilidad de la aproximación, se puede realizar una evaluación bootstrap de la distribución de $g(\hat{F}_n)$ mediante doble bootstrap, es decir, mediante evaluaciones bootstrap.

Como actualización, He aquí una ilustración que utilizo en clase: donde la lhs compara la verdadera cdf $F$ con la fdc empírica $\hat{F}_n$ pour $n=100$ observaciones y los gráficos rhs $250$ réplicas de la lhs, para 250 muestras diferentes, con el fin de medir la variabilidad de la aproximación de la cdf. En el ejemplo conozco la verdad y por tanto puedo simular a partir de la verdad para evaluar la variabilidad. En una situación realista, no conozco $F$ y por lo tanto tengo que empezar desde $\hat{F}_n$ para obtener un gráfico similar.

Nueva actualización: Este es el aspecto de la imagen del tubo cuando se parte de la fdc empírica:

Answer 2

En Teoría de la Información, la forma típica de cuantificar la "proximidad" de una distribución a otra es utilizar Divergencia KL

Intentemos ilustrarlo con un conjunto de datos de cola larga muy sesgados: retrasos en las llegadas de aviones al aeropuerto de Houston (de hflights paquete). Sea $\hat \theta$ sea el estimador de la media. En primer lugar, hallamos la distribución muestral de $\hat \theta$ y, a continuación, la distribución bootstrap de $\hat \theta$

Aquí está el conjunto de datos:

La media real es de 7,09 min.

En primer lugar, realizamos un cierto número de muestreos para obtener la distribución muestral de $\hat \theta$ entonces tomamos una muestra y tomamos muchas muestras bootstrap de ella.

Por ejemplo, veamos dos distribuciones con un tamaño de muestra de 100 y 5000 repeticiones. Vemos visualmente que estas distribuciones están bastante separadas, y la divergencia KL es de 0,48.

Pero cuando aumentamos el tamaño de la muestra a 1000, empiezan a converger (la divergencia KL es de 0,11)

Y cuando el tamaño de la muestra es de 5000, están muy cerca (la divergencia KL es de 0,01)

Esto, por supuesto, depende de la muestra bootstrap que se obtenga, pero creo que se puede ver que la divergencia KL disminuye a medida que aumentamos el tamaño de la muestra, y por lo tanto la distribución bootstrap de $\hat \theta$ se aproxima a la distribución de la muestra $\hat \theta$ en términos de Divergencia KL. Para estar seguro, puedes intentar hacer varios bootstraps y tomar la media de la divergencia KL.

Aquí está el código R de este experimento: https://gist.github.com/alexeygrigorev/0b97794aea78eee9d794