Ley del cuadrado medio de los grandes números

Question

Tengo la siguiente línea en mis notas (que creo que es defectuosa):

$$E\left[ \left(\hat{\mu}(N)-\mu\right)^2 \right] =E\left[ \left( \frac{1}{N} \sum_{i=1}^N(x_i-\mu) \right)^2 \right] =\frac{\sigma^2}{N}$$

Creo que el error está entre paréntesis, $\frac{1}{N}$ no nos multiplicamos por $\sum_{i=1}^N(x_i-\mu)$ pero sólo: $\sum_{i=1}^Nx_i$ ya que $\hat{\mu}$ se define como la media de la muestra: $\frac{1}{N}\sum_{i=1}^N x_i$ .

Pero incluso teniendo en cuenta esto (y suponiendo que estoy en lo cierto), no puedo llegar al resultado requerido de $\sigma^2 / N$ .

Esto es lo que consigo:

$$E\left[ \left(\frac{1}{N}\sum_{i=1}^Nx_i-\mu\right)^2 \right] =\frac{1}{N^2}E\left[ \sum_{i=1}^N x_i^2 \right] -\frac{2\mu}{N}E\left[ \sum_{i=1}^N x_i \right] +\mu^2$$

EDITAR:

Si tengo VR i.i. con media finita, entonces puedo desarrollar lo anterior diciendo lo siguiente:

$E[X]=<X>=\frac{1}{N}\sum_{i=1}^Nx_i$ y $E[X^2]=<X^2>=\frac{1}{N}\sum_{i=1}^Nx_i^2$ Por lo tanto, tengo

$$E\left[ \left(\frac{1}{N}\sum_{i=1}^Nx_i-\mu\right)^2 \right] =\frac{1}{N^2}E\left[ \sum_{i=1}^N x_i^2 \right] -\frac{2\mu}{N}E\left[ \sum_{i=1}^N x_i \right] +\mu^2=\frac{1}{N}<X^2>-<X>^2=\frac{1}{N}(<X^2>-<X>^2)=\frac{\sigma^2}{N}$$

Answer 1

El truco es una agrupación inteligente de términos:

\begin{align}E \left [ \left ( \frac{1}{N} \sum_{i=1}^N (x_i) - \mu \right )^2 \right ] & = E \left [ \left ( \frac{1}{N} \sum_{i=1}^N (x_i-\mu) \right )^2 \right ] \\[5pt] &= \frac{1}{N^2} E \left [ \sum_{i=1}^n (x_i-\mu)^2 + \sum_{i=1}^N \sum_{j=1,\;j \neq i}^N (x_i-\mu)(x_j-\mu) \right ] \\[5pt] &= \frac{\sigma^2}{N} + \frac{1}{N^2} E \left [ \sum_{i=1}^N \sum_{j=1,\;j \neq i}^N (x_i-\mu)(x_j-\mu) \right ]\end{align}

Ahora, ¿por qué el último término es cero?

Lo que realmente hemos demostrado aquí son dos hechos básicos:

• La varianza de una suma de variables no correlacionadas es la suma de las varianzas.
• La varianza de $\alpha X$ es $\alpha^2 \text{Var}(X)$ , si $\alpha \in \mathbb{R}$ .

Esta técnica también puede utilizarse para demostrar que el valor esperado de $\sum_{i=1}^N \left(x_i - \hat{\mu}(N)\right)^2$ es $(N-1)\sigma^2$ (lo que explica el misterioso $N-1$ en la fórmula estándar de la varianza de la muestra).

Answer 2

El secreto de la media expresión es sencillo: si sumas $N$ copias de la misma cantidad, se obtiene $N$ veces la cantidad original.

$$ \sum_{i=1}^N \mu = N \mu.$$

Así que si tomamos $\frac1N$ de la suma, recuperamos la cantidad original:

$$\frac1N \sum_{i=1}^N \mu = \frac1N ( N \mu) = \mu.$$

Ahora combina esto con la fórmula ya conocida de $\hat\mu(N)$ :

\begin{align} \hat\mu(N) &= \frac1N \sum_{i=1}^N x_i, \\ \hat\mu(N) - \mu &= \frac1N \sum_{i=1}^N x_i - \mu \\ &= \frac1N \sum_{i=1}^N x_i - \frac1N \sum_{i=1}^N \mu \\ &= \frac1N \left(\sum_{i=1}^N x_i - \sum_{i=1}^N \mu \right). \\ \end{align}

Ahora aplique el conocido hecho de que $\sum_{i=1}^N a_n - \sum_{i=1}^N b_n = \sum_{i=1}^N (a_n - b_n)$ . Es decir, en lugar de sumar todos los $x_i$ s y luego restando la suma de todos los $\mu$ s en ese orden, emparejar cada uno $x_i$ con uno de los $\mu$ s que vamos a restar:

$$ \sum_{i=1}^N x_i - \sum_{i=1}^N \mu = \sum_{i=1}^N (x_i - \mu). $$

Por lo tanto,

$$ \hat\mu(N) - \mu = \frac1N \left(\sum_{i=1}^N x_i - \sum_{i=1}^N \mu \right) = \frac1N \sum_{i=1}^N (x_i - \mu). $$

El primer signo de igualdad en su pregunta es simplemente tomar el expectativa del cuadrado de la cantidad en ambos lados de una ecuación.

Esta es una forma un tanto prolija de mostrar cómo la primera signo de igualdad en la respuesta de Ian. Sigue esa respuesta para el resto de la derivación.