¿Cómo puedo demostrar matemáticamente que la media de una distribución es la medida que minimiza la varianza?

Question

Según la página 87 de Kruschke: Cómo hacer un análisis bayesiano de datos, el autor dice que la media de una distribución es un valor que minimiza la varianza de una distribución de probabilidad, por ejemplo, una distribución normal. Lo que se menciona en la página es lo siguiente:

Resulta que el valor de $M$ que minimiza $dx p(x)(xM)^2$ es $E[X]$ . En otras palabras, la media de la distribución es el valor que minimiza la desviación cuadrada esperada. De este modo, la media es una tendencia central de la distribución.

He leído el párrafo y he entendido más o menos lo que el autor está tratando de decir, pero me pregunto cómo se puede escribir esto matemáticamente utilizando la ecuación anterior o cualquier otra forma.

Answer 1

Los estadísticos en ciernes de Estadística 101 sin conocimientos matemáticos más allá del álgebra de la escuela secundaria deberían considerar

\begin{align} E\left[(X-a)^2\right] &= E\bigr[\big(X-\mu + \mu -a\big)^2\bigr] & {\scriptstyle{\text{Here,}~\mu ~ \text{denotes the mean of} ~ X}}\\ &= E\bigr[\big((X-\mu) + (\mu -a)\big)^2\bigr]\\ &= E\bigr[(X-\mu)^2 + (\mu -a)^2 &{\scriptstyle{(\alpha+\beta)^2 = \alpha^2+\beta^2 + 2\beta\alpha}}\\ & ~~~~+ 2(\mu-a)(X-\mu)\bigr]\\ &= E\big[(X-\mu)^2\big] + E\big[(\mu -a)^2\big] &{\scriptstyle{\text{Expectation of sum is the sum of}}}\\ & ~~~+ 2(\mu-a)E\big[X-\mu\big] &{\scriptstyle{\text{the expectations, and constants}}}\\ & &{\scriptstyle{\text{can be pulled out ofexpectations}}}\\ &= \operatorname{var}(X) + (\mu -a)^2 + 2(\mu-a)\times 0 &{\scriptstyle{\text{definition of variance; expectation}}}\\ & &{\scriptstyle{\text{of a constant equals the constant;}}}\\ & &{\scriptstyle{E[X-\mu] = E[X] -E[\mu] = \mu -\mu = 0}}\\ &= \operatorname{var}(X) + (\mu -a)^2\\ &\geq \operatorname{var}(X) &{\scriptstyle{\text{with equality holding when}~ a=\mu.}} \end{align} Así, hemos demostrado que $E\left[(X-a)^2\right] \geq \operatorname{var}(X)$ y la igualdad se mantiene cuando $a = \mu$ .

¡Mira, mamá! ¡No hay cálculo! ¡Nada de derivadas o pruebas de segunda derivada! Ni siquiera geometría e invocaciones a Pitágoras; sólo álgebra de bachillerato (incluso pre-álgebra podría haber bastado), junto con una pizca de Estadística 101.

Answer 2

La expresión es $\mathbb E[(X-a)^2]$ . Diferenciaremos y equipararemos la expresión a $0$ : $$\begin{align}\frac{d}{da}\mathbb E[(X-a)^2]&=\mathbb E\left[\frac{d}{da}(X-a)^2\right]\\&=\mathbb E[-2(X-a)]\\&=0\end{align}$$

Entonces, $\mathbb E[-2X +2a]=0\rightarrow \mathbb E[2X]=\mathbb E[2a]=2a\rightarrow a=\mathbb E[X]$ . La segunda derivada es positiva, por lo que es el minimizador.

Answer 3

Suponiendo que tenga $n$ valores $\{x_1, x_2, \ldots, x_n\}$ la diferencia media al cuadrado de cada valor $x_i$ a algún número $a$ es: $$m(a)=\frac{1}{n}\sum_{i=1}^{n}(x_i-a)^2$$ Podríamos ignorar el término $\frac{1}{n}$ pero lo voy a dejar. Ampliar el cuadrado y manipular: $$m(a)=\frac{1}{n}\left(\sum_{i=1}^{n}x_{i}^{2}-2ax_i+a^2\right)=\frac{1}{n}\left(\sum_{i=1}^{n}x_{i}^{2}-\sum_{i=1}^{n}2ax_i+\sum_{i=1}^{n}a^2\right)=\frac{1}{n}\left(\sum_{i=1}^{n}x_{i}^{2}-2a\sum_{i=1}^{n}x_i+na^2\right)$$ Para encontrar el valor de $a$ que minimiza la expresión, diferenciar con respecto a $a$ para conseguirlo: $$m'(a)=\frac{1}{n}\left(2na - 2\sum_{i=1}^{n}x_i\right)$$ Ahora ponlo a cero y resuelve para $a$ para conseguirlo: $$a=\frac{\sum_{i=1}^{n}x_i}{n}$$ que es la media de los valores $x_i$ . Para demostrar que éste es efectivamente el mínimo, calcule la segunda dervativa wrt a $a$ que es $m''(a)=2>0$ por lo que es un mínimo.

Answer 4

Sólo tienes que resolverlo.

$$\frac{\partial}{\partial c}E[(X-c)^2]=E\left[ \frac{\partial}{\partial c}(X-c)^2 \right]=2E\left[ X-c \right]$$

Ponerlo a cero, $E[X]=c$ es el único punto estacionario y obviamente no es un máximo.

.

(hay una invocación al teorema de la convergencia dominada o casi ofrecida ahí para justificar el poner la derivada a través de la integral, que podría fallar si la varianza no existe o algo patológico como eso)

Answer 5

Una rápida:

Esto se deduce de una propiedad de los momentos ( una regla para transformar el centro )

$$E\left[(x-\hat{x})^n\right] = \sum_{i=0}^n {n \choose i} E\left[(x-a)^i\right] (a-\hat{x})^{n-i}$$

que se convierte en para $n=2$ y $a=\mu=E[X]$

$$E \left[(x-\hat{x})^2\right] = \underbrace{E \left[(x-\mu)^2\right] }_{=\text{Var}(x)} + 2 \underbrace{E \left[(x-\mu)\right] }_{=0} (\mu-\hat{x}) + (\mu-\hat{x})^2 = \text{Var}(x) + (\mu-\hat{x})^2$$

y esto se minimiza cuando $\hat{x}=\mu$ .

---

Una más larga:

Va similar usando la expresión $∫dx p(x)(x−M)^2$

$$\begin{array}{} ∫dx p(x)(x−M)^2 &=& ∫dx p(x)\underbrace{((x-\mu)+(\mu-M))^2}_{=(x-\mu)^2 + 2(x-\mu)(\mu-M) + (\mu-M)^2} \\ & =& ∫dx p(x)(x-\mu)^2 + ∫dx p(x)2(x-\mu)(\mu-M) +∫dx p(x) (\mu-M)^2 \\ & =& ∫dx p(x)(x-\mu)^2 + ∫dx p(x)2 x(\mu-M) - ∫dx p(x)2\mu(\mu-M)+∫dx p(x) (\mu-M)^2 \\ & =& \underbrace{∫dx p(x)(x-\mu)^2}_{=\text{var}(x)} + 2 (\mu-M)\underbrace{∫dx p(x)x}_{=\mu} - 2 (\mu-M)\mu \underbrace{∫dx p(x)}_{=1}+(\mu-M)^2 \underbrace{∫dx p(x)}_{=1} \\ &=& \text{var}(x) +(\mu-M)^2 \end{array}$$

---

Intuitivamente:

En otras palabras, la varianza es el 2º momento sobre la media y un 2º momento sobre algún otro punto será mayor.

Para encontrar el óptimo podría diferenciar la integral y se pone igual a cero, entonces se obtiene

$$\frac{\partial}{\partial M} ∫dx p(x)(x−M)^2 =2 ∫dx p(x)(x−M) = 2(\mu-M) =0$$

Lo que resulta en $M=\mu$ .

En palabras: si se desplaza el punto $M$ entonces las contribuciones de los $(x-M)^2$ término cambian y se vuelven menos o más, y esto es más cuando la distancia $x-M$ es mayor. Cuando $M$ es igual a la media $\mu$ el aumento y la disminución (la suma/media de $x-M$ ) se equilibran entre sí y se llega al mínimo.

Algo similar puede hacerse para minimizar la integral $∫dx p(x)|x−M|$ y se verá que esto se minimiza cuando $M$ es igual a la mediana.