Conexión entre el Bootstrap y el Estimador de Máxima Verosimilitud

Question

Estoy tratando de entender la conexión entre el Bootstrap y el Estimador de Máxima Verosimilitud. ¿Es la conexión del siguiente formato?

Dejemos que $ \mathcal{F}_{\theta} $ sea una familia parametrizada de distribuciones. Consideremos una distribución $ \mathcal{F}_{\theta_0} $ con valor desconocido de $ \theta_0 $ . Sea $ \vec{X} $ sea una muestra iid de tamaño N de la distribución $ \mathcal{F}_{\theta_0} $ . Y que $ \theta^* $ la estimación MLE de $ \theta $ bajo los supuestos anteriores, es decir

\begin{align*} \theta^* = \arg\max_{\theta} \prod_{x \in \vec{X}} P_{\mathcal{F}_{\theta}}(x) \ . \end{align*}

Nos preocupa la varianza de una estadística $ S(\vec{X}) $ sobre los datos muestreados $ \vec{X} $ . Sea $ var_B S(\vec{X}) $ sea la varianza de las estadísticas de la prueba de arranque $ S $ calculado sobre B rondas, es decir, muestreamos una muestra $\vec{X}_i$ con la sustitución de $ \vec{X} $ y calcular la varianza de $ \{S(\vec{X}_i), i=1,\dots,B \} $ .

Entonces \begin{align*} \lim _{B\to \infty} [var_B S(\vec{X})] = var_{x \sim \mathcal{F}_{\theta^*}} S(x) \ . \end{align*} ¿Es correcto el límite? ¿Tiene que llegar N al infinito también?

(Agradecería respuestas más allá de la simple referencias ).

Editar: Obsérvese que en el lado derecho de la ecuación, $x$ se muestrea a partir de $\mathcal{F}_{\theta^*}$ no $\mathcal{F}_{\theta_0}$ .

Answer 1

Ok, después de la edición queda más claro que la pregunta es diferente a lo que yo pensaba. La respuesta sigue siendo "No".

Supongamos que $X$ tiene una distribución de Cauchy y toma $S(X)=\bar X$ . $\mathrm{var}_B[\bar X]$ es siempre finito, y tiene un límite finito como $B\to\infty$ por el hecho de ser fijo $N$ pero $\mathrm{var}_{X\sim\textrm{Cauchy}(\theta^*)}[\bar X]$ es infinito.

Menos extremo, toma $X\sim N(\mu,1)$ . Entonces $\mathrm{var}_{X\sim P_{\theta^*}}[\bar X]=1/N$ pero $$\lim_{B\to\infty}\mathrm{var}_{B}[\bar X]=\hat\sigma^2/N$$ donde $\hat\sigma^2$ es la varianza de la muestra en esa muestra.

En el segundo caso, la igualdad se mantiene directamente para el límite como $N\to\infty$ . En el primer caso se cumple en el sentido de que la varianza del bootstrap aumenta a.s. sin límite como $N\to\infty$ .