7 votos

¿Cuál es la probabilidad máxima/GLM versión de menos absolutos de las desviaciones para robustos de regresión lineal?

Robustos de regresión lineal a partir de la minimización de la absoluta deviationresults en una línea de regresión de las medianas condicional en las covariables, en lugar de medios utilizando el estándar de mínimos cuadrados metodología: Es la minimización del error cuadrado equivalente a minimizar el error absoluto? ¿Por qué del error cuadrado es más popular que el último?

Es útil y robusto en el sentido de que minimiza el efecto de los valores atípicos en la variable de respuesta en el conjunto de la línea. ¿Cuál es su análogo en el modelo lineal generalizado/máxima verosimilitud?

5voto

AdamSane Puntos 1825

No hay GLM (no natural exponencial modelo de familia) que corresponde a la L1 (el de menor valor absoluto) de regresión.*

Tenga en cuenta que si usted está haciendo MLE, a continuación, una densidad de forma $\frac{c}{\phi}\exp(-g(\frac{y-\mathbf{x}\beta}{\phi}))$ tienen la log-verosimilitud $-n\log(\phi)-\sum_i g(\frac{y_i-\mathbf{x}_i\beta}{\phi})$.

Ahora la maximización de la probabilidad con respecto a los parámetros de $\beta$ correspondería a minimizar $\sum_i g(\frac{y_i-\mathbf{x}_i\beta}{\phi})$.

Así que si usted está tratando de minimizar $\frac{1}{\phi}\sum_i |y_i-\mathbf{x}_i\beta|=\sum_i |\frac{y_i-\mathbf{x}_i\beta}{\phi}| $... la forma de $g$ y, por tanto, de la densidad de los errores que este será ML deben ser inmediatamente obvio, es la de Laplace.

Es útil y robusto en el sentido de que minimiza el efecto de los valores atípicos en la variable de respuesta en el amueblada línea

Que no proporciona ninguna protección contra influyentes observaciones, y por lo tanto no en todos los robustos a los valores atípicos influyentes, como se ilustra aquí.


Yo también no creo que sea muy correcto decir que minimiza el efecto; (ignorando el punto anterior acerca de la influyente observaciones -- por ejemplo, si sólo nos fijamos en ubicación, en vez de regresión) límites que el efecto muy bien pero si usted aprende acerca de la influencia de las funciones y los M-estimadores verás que hay con estimadores de influencia de las funciones que redescend (que L1 estimadores no), así que hay estimadores de la ubicación donde los valores atípicos tienen incluso menos efecto que sobre la mediana.


* Dejando a un lado la escala de la$^\dagger$ por simplicidad, simplemente no se puede escribir $\sum_i |y_i-\mathbf{x}_i\beta|$ en la forma $\sum_i -\eta(\beta)\cdot T(y_i) +A(\beta)-B(y_i)$ - la función valor absoluto no se rompe así.

$\dagger$ Si sólo tuviéramos la escala de estimación, que iba a ser exponencial de la familia.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X