Encontrar una forma más directa de llegar a $\mathbb{E} \left( \sum (X_i - \mu)^2 \right) - \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) = \sigma^2$

Question

Deje $X_i$ ser independiente de las variables aleatorias, $\forall\,i \in \mathbf{n} \equiv \{0,\dots,n-1\}$, con la misma expectativa de valor de $\mathbb{E}(X_i)=\mu$, e idéntica a la de la varianza $\mathrm{Var}(X_i)=\sigma^2$.¹ También, que los $\overline{X}$ ser su promedio, $\frac{1}{n}\sum X_i$ (donde la suma de todos los $i\in \mathbf{n}$ es implícito, un convenio voy a utilizar a lo largo).

No es difícil mostrar, de forma directa (si un poco tedioso) cálculo, que

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \mu)^2 \right) - \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) = \sigma^2 $$

Siempre que llego a un muy "simple" resultado a través de un "tedioso" derivación, como en este caso, tengo la fuerte sospecha de que tiene que haber una manera más directa, y sin embargo totalmente riguroso, el razonamiento para llegar a él. O más bien, una manera de ver el problema que hace que el resultado de inmediato "obvio".²

En este caso, la mejor que he encontrado algo como esto: el resultado anterior se deduce del hecho de que, en primer lugar,

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \mu)^2 \right) = n \sigma^2 $$

y, en segundo lugar, si restamos $\overline{X}$ en lugar de $\mu$, hemos "perdido un grado de libertad", y "por lo tanto"

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) = (n - 1) \sigma^2 $$

Me parece que este a mano ondulado argumento completamente convincentes. (Dudo que los que proponen lo hubiera creído si no lo sabe ya el resultado de una más rigurosa de la derivación.)

¿Hay algo mejor?

EDITAR:

He aquí un ejemplo de la clase de argumento que estoy buscando. Todavía tiene demasiadas lagunas de ser satisfactoria, pero al menos muestra un razonamiento que no requiere papel y lápiz: pueden ser administradas por vía oral, o con crudo "marcas en la arena" (álgebra), y se entiende fácilmente.

Primero podemos ver que

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \mu)^2 \right) \geq \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) $$

Por qué? Porque, el valor de $c$ que minimiza $\sum (X_i - c)^2$ $c = \overline{X}$ (un hecho para que yo pudiera darle una forma similar de la mano ondulado, no del todo-hermético argumento, aunque fácil de probar por el tedioso cálculo), lo que significa que siempre que $\overline{X} \neq \mu$, tendríamos $\sum (X_i - \mu)^2 > \sum (X_i - \overline{X})^2$.

Ahora, lo de "unidades" $\overline{X}$ $\mu$ (por así decirlo) es $\sigma^2$. Así que podemos concluir que la diferencia

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \mu)^2 \right) - \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) \geq 0 $$

debe aumentar monótonamente como $\sigma^2$ aumenta...

Bastante justo, pero ¿por qué es la diferencia exactamente $\sigma^2$, y no, digamos, $\sigma^2/n$ o *suspiro* $\pi \sigma^2/n$? Aquí mi mano saludando comienza a decaer... es sugerente que $\mathbb{E}(\overline{X}) = \mu$ y

$$\mathrm{Var}(\overline{X}) = \frac{\sigma^2}{n} = \mathbb{E} \left( ( \overline{X} - \mathbb{E}(\overline{X}))^2 \right) = \mathbb{E} \left( ( \overline{X} - \mu )^2 \right)$$

Por lo tanto, es tentador suponer que, puesto que, para cada $i$, $(X_i - \mu) - (X_i - \overline{X}) = \overline{X} - \mu$, a continuación, cada plazo $(X_i - \mu)^2 - (X_i - \overline{X})^2$ contribuiría, "en promedio", $\mathbb{E}\left( ( \overline{X} - \mu )^2 \right) = \sigma^2/n$ para el total de la diferencia. Esto requeriría que justifiquen la tentadoramente de Pitágoras-en busca de la igualdad:

$$\mathbb{E} \left( ( X_i - \mu )^2 \right) = \mathbb{E} \left( ( X_i - \overline{X})^2 + ( \overline{X} - \mu )^2 \right)$$

...aunque admito de buena gana que esto está comenzando a lucir tan tedioso como cualquier algebraico de computación.

(Tomo nota de que en este argumento, yo no uso el hecho de que en este caso $\mathrm{Var}(\sum X_i)=\sum\mathrm{Var}(X_i)$, lo que sin duda es el camino a seguir.)

---

¹ de La típica condición dada es decir que el $X_i$ son independientes e idénticamente distribuidas, pero, AFAICT, la última condición es más fuerte de lo necesario. Para que la materia, como Dilip Sarwate señalado, la independencia de la condición es más fuerte de lo necesario. Es suficiente con que $\mathrm{Var}(\sum X_i)=\sum\mathrm{Var}(X_i)$.

² El "susto comillas" alrededor de "simple", "tedioso", y "evidente" el objetivo de transmitir la concesión de que estos términos son todos, por supuesto, en el ojo del espectador. Así que la "simplicidad" es la abreviatura de subjetivo simplicidad o percibido simplicidad, etc. También en el ojo del espectador es la cantidad (percibida) de tedio parece demasiado relativo a la (presunta) la simplicidad. Si la diferencia de $\mathbb{E} \left( \sum (X_i - \mu)^2 \right) - \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right)$ había sido, digamos, $\sigma^2/\sqrt{\pi}$, yo no hubiera percibido la algebraicas estándar derivación como particularmente tedioso, debido a que $\sigma^2/\sqrt{\pi}$ no me parece particularmente simple.

Answer 1

Tenga en cuenta que si el $X_i$ son independientes, $$ \begin{align} \mathrm{Var}\left(\bar{X}\right) &=\mathrm{Var}\left(\frac1n\sum X_i\right)\\ &=\frac1{n^2}\sum\mathrm{Var}(X_i)\\ &=\frac1{n^2}n\sigma^2\\ &=\frac{\sigma^2}{n}\tag{1} \end{align} $$ Simplemente ampliar y simplificar para obtener $$ \begin{align} &\mathbb{E}\left(\sum\left(X_i-\mu\right)^2\right)-\mathbb{E}\left(\sum\left(X_i-\bar{X}\right)^2\right)\\ &=\mathbb{E}\left(\sum\left(X_i^2-2\mu X_i+\mu^2\right)-\sum\left(X_i^2-2\bar{X}X_i+\bar{X}^2\right)\right)\\ &=\mathbb{E}\left(\sum\left(\mu^2+2\left(\bar{X}-\mu\right)X_i-\bar{X}^2\right)\right)\\ &=\mathbb{E}\left(n\mu^2+2n\left(\bar{X}-\mu\right)\bar{X}-n\bar{X}^2\right)\\ &=n\mathbb{E}\left(\mu^2-2\mu\bar{X}+\bar{X}^2\right)\\ &=n\mathbb{E}\left(\left(\mu-\bar{X}\right)^2\right)\\ &=n\frac{\sigma^2}{n}\tag{2}\\ &=\sigma^2 \end{align} $$ $(2)$ es sólo $n$ veces $(1)$.

Answer 2

Una interfaz intuitiva y, posiblemente, "completamente rigurosa" derivación del resultado

El resultado en cuestión de la siguiente manera a partir de una aplicación de la Teorema de pitágoras de la geometría del plano.

Sin pérdida de generalidad, supongamos que $\mu=0$ y considerar un punto fijo $\mathbf{x} = (x_1,x_2,\ldots, x_n)$$\mathbb R^n$. Definir $\bar{x}$$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$. El conjunto de todos los puntos $(y_1,y_2,\ldots, y_n) \in \mathbb R^n$ que satisfacer $$y_1+y_2+\cdots + y_n = n\bar{x}$$ is a hyperplane $H$ in $\mathbb R^n$ que contiene $\mathbf{x}$, y esto se comprueba fácilmente que la punto en $H$ que es la más cercana al origen $\mathbf 0$ es $\bar{\mathbf{x}} = (\bar{x},\bar{x}, \ldots, \bar{x})$ y que la línea recta a través de $\mathbf 0$ $\bar{\mathbf{x}}$ es perpendicular a $H$. Ahora, los tres puntos de $\mathbf 0$, $\bar{\mathbf{x}}$, e $\mathbf x$ definen un plano, y en este avión, ellos son los vértices de un triángulo rectángulo (con derecho ángulo en el $\bar{\mathbf{x}}$). El teorema de Pitágoras de avión la geometría nos dice que $$\sum_{i=1}^n x_i^2 = \sum_{i=1}^n \left(\bar{x}\right)^2 + \sum_{i=1}^n \left(x_i-\bar{x}\right)^2 = n\left(\bar{x}\right)^2 + \sum_{i=1}^n \left(x_i-\bar{x}\right)^2$$ o, de manera equivalente, $$\sum_{i=1}^n x_i^2 - \sum_{i=1}^n \left(x_i-\bar{x}\right)^2 = n\left(\bar{x}\right)^2.$$ Ahora, por encima de la identidad se mantiene para todas las opciones de la $x_i$, y en particular, se mantiene para todas las realizaciones$(x_1, x_2, \ldots, x_n)$ de la aleatorios vectoriales $(X_1, X_2, \ldots, X_n)$, es decir, $$\sum_{i=1}^n X_i^2 - \sum_{i=1}^n \left(X_i-\bar{X}\right)^2 = n\left(\bar{X}\right)^2 ~~\text{con probabilidad } 1.$$ Por lo tanto, suponiendo que todas las expectativas que existen, tenemos que $$E\left[\sum_{i=1}^n X_i^2\right] - E\left[\sum_{i=1}^n \left(X_i-\bar{X}\right)^2\right] = nE\left[\left(\bar{X}\right)^2\right].$$ La introducción de un medio al $\mu$ $X_i$'s simplemente se traduce el origen de $(\mu,\mu, \ldots, \mu)$ dando

$$E\left[\sum_{i=1}^n (X_i-\mu)^2\right] - E\left[\sum_{i=1}^n \left(X_i-\bar{X}\right)^2\right] = nE\left[\left(\bar{X}-\mu\right)^2\right] = n\cdot\operatorname{var}\left(\bar{X}\right).$$

Observe que el resultado es válido para todas las variables aleatorias con común decir $\mu$: no hemos hecho ninguna suposición acerca de la independencia o de la correlación cero o incluso acerca de la varianza común. Ahora, para el especial caso de no correlación variables aleatorias con varianza común $\sigma^2$, el lado derecho de la anterior igualdad es sólo $$n\cdot\operatorname{var}\left(\bar{X}\right) = n\cdot\operatorname{var}\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = n \cdot \frac{1}{n^2}\sum_{i=1}^n \operatorname{var}(X_i) = \sigma^2$$ dando

$$E\left[\sum_{i=1}^n (X_i-\mu)^2\right] - E\left[\sum_{i=1}^n \left(X_i-\bar{X}\right)^2\right] = \sigma^2.$$

---

---

(Respuesta anterior: no hay intuición o de la geometría, sólo un simple derivación)

Ya han señalado que $$E\left[\sum_{i=1}^n (X_i-\mu)^2\right] = \sum_{i=1}^n E[(X_i-\mu)^2] = n\sigma^2.$$ Desde $E\left[\bar{X}\right] = \mu = E[X_i]$, tenemos que $Y_i = X-\bar{X}$ es un valor cero variable aleatoria, y por lo $E\left[\left(X_i-\bar{X}\right)^2\right]$ es la variación de $Y_i$, lo que da $$\begin{align} E\left[\left(X_i-\bar{X}\right)^2\right] &= \operatorname{var}(Y_i) = \operatorname{var}\left(X_i-\bar{X}\right)\\ &= \operatorname{var}\left(\frac{n-1}{n}X_i-\sum_{j\neq i}\frac{X_j}{n}\right) &\scriptstyle{\text{write as a weighted sum of the uncorrelated variables }X_i}\\ &= \left(\frac{(n-1)^2}{n^2}+ (n-1)\frac{1}{n^2}\right)\sigma^2 &\scriptstyle{\text{so that we can use the formula}\operatorname{var}\left(\sum_i a_iX_i\right) = \sum_i a_i^2\operatorname{var}(X_i)}\\ &= \frac{n-1}{n}\sigma^2&\scriptstyle{\text{for the variance of a sum of uncorrelated random variables}} \end{align}$$ que conduce a la $$E\left[\sum_{i=1}^n\left(X_i-\bar{X}\right)^2\right] = (n-1)\sigma^2.$$

Answer 3

Yo creo que se quiere hacer de los tediosos cálculos y, a continuación, extraer la idea clave. Y para mí, la idea clave es que, para cada una de las $X_i$:

$$ \estilo de texto \mathbb{E} \left( X_i \overline{X} \right) = \frac{\sigma^2}{n} +\mu^2 $$ lo que no requiere de ese $Cov(X_i,X_j)=0$ si $i\ne j$.

Una vez que tenemos esto, entonces usted puede ver que:

$$ \estilo de texto \mathbb{E} \left( \sum (X_i - \overline{X})^2 \right) = \mathbb{E} \left( \sum [(X_i -\mu)+(\mu- \overline{X})]^2 \right) $$

$$ \estilo de texto = \mathbb{E} \left( \sum (X_i -\mu)^2+\sum2(X_i -\mu)(\mu- \overline{X})+\sum(\mu- \overline{X})^2 \right) $$

$$ \estilo de texto = n\sigma^2-2\sigma^2+\sigma^2=(n-1)\sigma^2 $$

que es realmente tedioso para calcular, pero esto es donde su "grado de libertad".