Una prueba más elegante: estimación insesgada de una varianza basada en una muestra sin reemplazo

Question

Un número real $x_i$ se asigna a cada miembro $i$ de la población $\{1,\ldots,N\}.$ Cuando el índice $I$ es aleatoria y se distribuye uniformemente en esta población, la varianza de la variable aleatoria $x_I$ es $$ \frac 1 N \sum_{i=1}^N (x_i - \mu)^2 \text{ where } \mu = \frac 1 N \sum_{i=1}^N x_i. \tag 0 $$

Un subconjunto aleatorio $\mathscr I$ de tamaño $n \le N$ de la población se distribuye uniformemente entre todos los subconjuntos de tamaño $n.$

Se puede demostrar que $$ \operatorname{E}\left( \frac{N-1}{N(n-1)} \sum_{i\,\in\,\mathcal I} (x_i - \bar x_{\mathscr I})^2 \right) = \sigma^2, \text{ where } \bar x_{\mathscr I} = \frac 1 n \sum_{i\,\in\,\mathscr I} x_i, \tag 1 $$ es decir, la expresión entre paréntesis es un estimador insesgado de $\sigma^2.$

("Estimador insesgado de $\sigma^2$ " hace pas significa simplemente una variable aleatoria cuyo valor esperado es $\sigma^2.$ Por ejemplo, $$ \frac 1 n \sum_{i\,\in\,\mathscr I} (x_i - \mu)^2 \qquad \text{(with $ \N - La UCI $ as in (1))} $$ es pas un estimador insesgado de $\sigma^2$ aunque su valor esperado es $\sigma^2.$ Esto se debe a que no es un estadística es decir, no se puede conocer su valor basándose únicamente en la muestra $\{x_i : i\in\mathscr I\}$ porque no puedes saber $\mu$ sin observar a toda la población).

Línea $(1)$ también puede escribirse como $$ \operatorname{E} \left( \frac{\sum_{i\,\in\,\mathcal I} (x_i - \bar x_{\mathscr I})^2}{\sum_{i\,=\,1}^N (x_i - \mu)^2} \right) = \frac N {N-1} \cdot \frac {n-1} n. \tag 2 $$ Línea $(2)$ no tiene tanta simetría como quisiera: sólo el numerador es aleatorio, y las expectativas son lineales, por lo que no podemos tomar un recíproco en el lado derecho y dentro del paréntesis en el lado izquierdo).

Dos respuestas (hasta ahora) a esta pregunta derivar $(1).$

Mi pregunta es si hay alguna manera hábil y elegante de demostrar $(1),$ en contraste con los métodos pedestres utilizados en las dos respuestas que aparecen hasta ahora.

Answer 1

No estoy seguro de si esto es elegante o mejor que las respuestas bajo el enlace.

Dejemos que $(X,Y)$ sea uniforme en $\{x_1,\dots,x_n\}^2\setminus \{x=y\}$ . Supongamos que WLOG $\sum_{k=1}^N x_k = 0$ . Entonces $\mathrm E[X] = \mathrm E[Y] = 0$ , $\mathrm E[X^2] = \mathrm E[Y^2] = \frac1N \sum_{k=1}^N x_k^2 = \sigma^2$ .

Permute $\{x_1,\dots,x_n\}$ al azar para obtener $X_1,\dots,X_N$ . Entonces $$ 0 = \mathrm E\left[\Big(\sum_{k=1}^N X_k\Big)^2\right] = \sum_{k=1}^N \mathrm{E}[X_k^2] + \sum_{j\neq k} \mathrm{E}[X_k X_j] = N\, \mathrm E[X^2] + N(N-1)\mathrm E[X Y], \tag{1} $$ de donde $$ \mathrm E[X Y] = - \frac{\sigma^2}{N-1}. $$

Tenga en cuenta que nos interesa $$ \mathrm E\bigg [\frac1n \sum_{k=1}^n(X_k- \overline X_n)^2\bigg] = \mathrm E\bigg [\frac1n \sum_{k=1}^n X^2_k- \overline X_n^2\bigg], $$ donde $$ \overline X_n = \frac1n \sum_{k=1}^nX_k. $$

Tenemos $$ E\bigg [\frac1n \sum_{k=1}^n X^2_k\bigg] = \sigma^2 $$ y, de forma similar a $(1)$ , $$ \mathrm E\big[\overline X_n^2\big] = \frac1{n^2} \left( n\,\mathrm E[X^2] + n(n-1)\mathrm E[X Y]\right) = \frac1n \mathrm E[X^2] + \frac{n-1}{n}\mathrm E[X Y] = \frac{N-n}{n(N-1)}\sigma^2. $$

Por lo tanto, $$ \mathrm E\bigg [\frac1n \sum_{k=1}^n(X_k- \overline X_n)^2\bigg] = \sigma^2 - \frac{N-n}{n(N-1)}\sigma^2 = \frac{N(n-1)}{n(N-1)}\sigma^2. $$