La equivalencia entre los mínimos cuadrados y la MLE en el modelo Gaussiano

Question

Soy nuevo en el Aprendizaje de Máquina, y estoy tratando de aprender por mi cuenta. Recientemente estaba leyendo a través de algunas notas de la conferencia y había una pregunta básica.

Diapositiva 13 dice que "el Cuadrado de la Estimación es igual a la Estimación de Máxima Verosimilitud bajo un modelo Gaussiano". Parece que es algo simple, pero soy incapaz de ver esto. Por favor alguien puede explicar qué está pasando aquí? Estoy interesado en ver las Matemáticas.

Mas adelante intentare a ver el punto de vista probabilístico de la Cresta y el Lazo de regresión también, así que si hay alguna sugerencia que me ayude, que será apreciado también.

Gracias de antemano.

Answer 1

En el modelo de

$ Y = X \beta + \epsilon $

donde $\epsilon \sim N(0,\sigma^{2})$, el loglikelihood de $Y|X$ para una muestra de $n$ de sujetos es (hasta un constante aditiva)

$$ \frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2} $$

visto como una función de sólo $\beta$, el maximizer es exactamente lo que minimiza

$$ \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2} $$

hace la equivalencia clara?