Demostrar que los estimadores de máxima verosimilitud para la distribución gaussiana son un máximo global

Question

Estoy estudiando en Casella-Berger, estoy en la página 322 en la que explica cómo encontrar Maximum Likelihood Estimator (MLE) para una distribución gaussiana con parámetros $\mu$ y $\sigma^2$, ambos desconocidos. Encuentra MLE, y hasta este punto todo está claro, y son $\hat{\mu} = \bar{x}$ y $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (x_i-\bar{x})^2$.

Ahora, dice que es difícil probar analíticamente que estos son de hecho máximos globales, y usa este hecho:

Si $\theta \ne \bar{x}$ entonces $\sum (x_i-\theta)^2 > \sum (x_i-\bar{x})^2$.

No da ninguna explicación para eso. ¿Hay algo obvio que no veo?

Answer 1

Puedes usar un argumento de suma de cuadrados para ver esto.

$$\sum_i (x_i-\theta)^2 = \sum_i (x_i - \bar{x}+\bar{x}-\theta)^2 = \sum_i (x_i-\bar{x})^2+n(\bar{x}-\theta)^2+\\\color{red}{2(\bar{x}-\theta)\sum_i(x_i-\bar{x})}$$

Ahora, $\bar{x}$ se define de manera que el término cruzado se convierte en cero ya que $\sum_i x_i = \sum_i \bar{x}$.

Por lo tanto, nos queda:

$$\sum_i (x_i - \theta)^2 = \sum_i (x_i-\bar{x})^2+n(\bar{x}-\theta)^2$$

Esta es la descomposición de sesgo/varianza del error al cuadrado asociado con el estimador $\theta$. Dado que ambos términos en el lado derecho son positivos y solo el término de sesgo depende de $\theta$, tenemos:

$$\sum_i (x_i - \theta)^2 > \sum_i (x_i - \bar{x})^2$$

Answer 2

$\theta\mapsto \sum (x_i-\theta)^2$ es una función cuadrática en $\theta$ que se abre hacia arriba. Tiene un mínimo único donde su derivada es $0$, es decir, cuando $2\sum (x_i-\theta)=0$ es decir $\theta = \hat x$.