Si las condiciones de primer orden de MLE y OLS son idénticas, ¿es MLE tan eficiente como OLS es decir, ambos son BLUE?

Question

¿Si las condiciones de primer orden de MLE y OLS son idénticas, es MLE tan eficiente como OLS?

Parece que deberían ser iguales en términos de eficiencia, sin embargo, si OLS es el mejor estimador lineal no sesgado, ¿significa esto que de hecho hay una diferencia y que OLS es ligeramente más eficiente que MLE?

Si hay una diferencia, ¿por qué?

Si no hay diferencia, ¿cómo se muestra formalmente esto? ¿Es necesario mostrar la distribución asintótica, etc.?

Answer 1

Los mínimos cuadrados ordinarios (OLS) son el estimador de máxima verosimilitud (MLE) cuando la distribución condicional de $Y$ es normal. Sin embargo, la prueba del Teorema de Gauss Markov (que muestra que OLS es BLUE) no requiere que el $Y$ condicional esté distribuido de manera normal, por lo que la propiedad BLUE de OLS es un resultado no paramétrico. De hecho, si el $Y$ condicional fuera cualquier otra distribución, el máximo verosimilitud sería más eficiente, simplemente que el estimador no sería lineal. Debería coincidir con nuestra intuición: usar el conocimiento de la distribución real debería ayudarnos. El MLE siempre es el estimador asintóticamente eficiente.

Recordatorio: un estimador lineal es cualquier estimador de la forma $\hat{Y} = bY$, es decir, una proyección. Hay otras formas de estimadores lineales como la pendiente promedio. Este es un hecho elusivo, uno debe profundizar en Seber y Lee "Análisis de regresión lineal" para la definición adecuada.