Estimación de regresión lineal OLS vs ml

Question

Supongamos que voy a estimar una regresión lineal donde supongo $u\sim N(0,\sigma^2)$. ¿Cuál es el beneficio de OLS contra estimación ML? Sé que tenemos que conocer una distribución de $u$ cuando usamos métodos de ML, pero ya supongo $u\sim N(0,\sigma^2)$ si utilizo ML o OLS este punto parece ser irrelevante. Así debe ser la única ventaja de OLS en las características asintóticas de los estimadores de $\beta$. ¿O tenemos otras ventajas del método de MCO?

Answer 1

Usando las notaciones habituales, la log-verosimilitud del método ML es

$l(\beta_0, \beta_1 ; y_1, \ldots, y_n) = \sum_{i=1}^n \left\{ -\frac{1}{2} \log (2\pi\sigma^2) - \frac{(y_{i} - (\beta_0 + \beta_1 x_{i}))^{2}}{2 \sigma^2} \right\}$.

Tiene que incrementarse con respecto al $\beta_0$ y $\beta_1$.

Pero es fácil ver que esto es equivalente a minimizar

$\sum_{i=1}^{n} (y_{i} - (\beta_0 + \beta_1 x_{i}))^{2} $.

Por lo tanto, ML y OLS conducen a la misma solución.

Más detalles se proporcionan en estas notas de la Conferencia de Niza.

Answer 2

Se centran en la parte equivocada del concepto en su pregunta. La belleza de los mínimos cuadrados es que da un Chi agradable respuesta fácil de la distribución, y si es normal la distribución verdadera, entonces es así como la respuesta de probabilidad de maiximum (creo que es la thereom de Gauss-Markov). Cuando se tiene una distribución que no sea el normal luego ML y OLS dará respuestas diferentes (pero si es la verdadera distribución normales entonces la respuesta será similar).

Answer 3

la única diferencia para muestras finitas es, que el ML-estimador de la varianza residual es parcial. No tiene en cuenta para el número de regressors en el modelo.