Regresión lineal: ¿alguna distribución no normal que dé identidad de MCO y MLE?

Question

Esta pregunta se inspira en la larga discusión en los comentarios aquí: ¿Cómo utiliza la regresión lineal la distribución normal?

En el modelo de regresión lineal habitual, por simplicidad aquí escrito con un solo predictor: $$ Y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ donde el $x_i$ son constantes conocidas y $\epsilon_i$ son términos de error independientes de media cero. Si además asumimos distribuciones normales para los errores, entonces los estimadores usuales de mínimos cuadrados y los estimadores de máxima verosimilitud de $\beta_0, \beta_1$ son idénticos.

Así que mi pregunta fácil: ¿existe alguna otra distribución para los términos de error tal que los mle sean idénticos al estimador de mínimos cuadrados ordinario? Una implicación es fácil de demostrar, la otra no.

Answer 1

En la estimación de máxima verosimilitud, calculamos

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

la última relación teniendo en cuenta la estructura de linealidad de la ecuación de regresión.

En comparación , el estimador MCO satisface

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

Para obtener expresiones algebraicas idénticas para los coeficientes de pendiente necesitamos tener una densidad para el término de error tal que

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

Se trata de ecuaciones diferenciales de la forma $y' = \pm\; xy$ que tienen soluciones

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$ \implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

Cualquier función que tenga este kernel e integre a la unidad sobre un dominio apropiado, hará que el MLE y el OLS para los coeficientes de pendiente sean idénticos. En concreto, buscamos

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

¿Existe tal $g$ que no sea la densidad normal (o la media normal o la derivada de la función de error)?

Ciertamente. Pero una cosa más que uno tiene que considerar es la siguiente: si uno usa el signo más en el exponente, y un soporte simétrico alrededor de cero por ejemplo, uno obtendrá una densidad que tiene un único mínimo en el centro, y dos máximos locales en los límites del soporte.

Answer 2

Si definimos el MCO como la solución de $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ cualquier densidad $f(y|x,\beta_0,\beta_1)$ tal que $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ es aceptable. Esto significa, por ejemplo, que las densidades de la forma $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ son aceptables, ya que el factor $f_0(y|x)$ no depende del parámetro $(\beta_0,\beta_1)$ . Por lo tanto, existen infinitas distribuciones de este tipo.

Otro escenario en el que ambos estimadores coinciden es cuando los datos proceden de un distribución esféricamente simétrica es decir, cuando los datos (vectoriales) $\mathbf{y}$ tiene una densidad condicional $$h(||\mathbf{y}-\mathbf{X}\beta||)$$ con $h(\cdot)$ una función decreciente. (En este caso, el MCO sigue estando disponible, aunque el supuesto de la independencia de los $\epsilon_i$ 's sólo se cumple en el caso Normal).

Answer 3

No sabía nada de esta pregunta hasta que @Xi'an acaba de actualizar con una respuesta. Hay una solución más genérica. Las distribuciones de la familia exponencial con algunos parámetros fijos dan lugar a divergencias de Bregman. Para tales distribuciones la media es el minimizador. El minimizador OLS es también la media. Por lo tanto, para todas estas distribuciones deberían coincidir cuando el funcional lineal está ligado al parámetro de la media.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf