Lo de regresión estimación, no es un MLE?

Question

Acabo de rigor aprendido que OLS es un caso especial de la MLE. Me sorprende porque el popular y fuentes "confiables" como researchgate y esto no se menciona esta conexión más importante entre el MLE y OLS!

No estoy seguro de si hay alguna regresión simple o método de estimación que no pertenecen a la MLE.

Answer 1

Mínimos cuadrados es, de hecho, de máxima verosimilitud, si los errores son iid normal, pero si no son iid normal, mínimos cuadrados no es de máxima verosimilitud. Por ejemplo, si mis errores fueron logística, mínimos cuadrados no sería una idea terrible, pero no sería de máxima verosimilitud.

Muchos de los estimadores no son los estimadores de máxima verosimilitud; mientras que los estimadores de máxima verosimilitud suelen tener un número de útiles y atractivas propiedades no son el único juego en la ciudad (y de hecho ni siquiera siempre es una gran idea).

Un par de ejemplos de otros métodos de estimación de incluiría

• método de los momentos (esto implica la equiparación de la suficiente de la muestra y de la población momentos para resolver las estimaciones de los parámetros, a veces esto resulta ser de máxima verosimilitud, pero no suele)

  Por ejemplo, la equiparación de la primera y segunda momentos para estimar los parámetros de una distribución gamma o una distribución uniforme; no de máxima verosimilitud, en cualquiera de los casos.

• método de cuantiles (lo que equivale suficiente de la muestra y de la población de cuantiles para resolver las estimaciones de los parámetros; en ocasiones, esto es de máxima verosimilitud, pero generalmente no lo es),

• la minimización de alguna otra medida de la falta de ajuste de $-\log\mathcal{L}$ (por ejemplo, mínimo de chi-cuadrado, de un mínimo de K-S de la distancia).

Con ajuste de regresión lineal de los modelos de tipo, por ejemplo, podría mirar regresión robusta (algunos de los cuales corresponden a ML métodos para una determinada distribución de error, pero muchos de los cuales no).

En el caso de simple regresión lineal, voy a mostrar un ejemplo de los dos métodos de ajuste de las líneas que no son de máxima verosimilitud, aquí - allí, la estimación de la pendiente por el valor a 0 alguna otra medida de correlación (es decir, distinta de la habitual de Pearson) entre los residuos y el predictor.

Otro ejemplo sería el de Tukey resistente a la línea/de Tukey tres grupo de línea (por ejemplo, véase ?line en R). Hay muchas otras posibilidades, aunque muchos de ellos no generalizar fácilmente a la regresión múltiple de la situación.

Answer 2

Bayesiano enfoques no incluyen la maximización de una función de probabilidad, sino más bien la integración de más de una distribución posterior. Tenga en cuenta que el modelo subyacente puede ser exactamente idéntico (es decir, la regresión lineal, la generalización de la regresión lineal), pero también la necesidad de proporcionar una distribución previa que capta nuestra incertidumbre en los parámetros antes de ver los datos. La distribución posterior es simplemente la distribución normal de los tiempos anteriores a la probabilidad.

Creo que la mayoría de los estadísticos en estos días están de acuerdo en que un enfoque Bayesiano es generalmente superior a un MLE enfoque para la estimación de parámetros. Sin embargo, cuando uno tiene una gran cantidad de datos, puede que no sea así mucho mejor de lo que es el extra costes computacionales (la integración es más difícil que la optimización!) y el esfuerzo extra de venir para arriba con una distribución previa. De hecho, uno puede mostrar que, asintóticamente, el MLE + aproximación normal se aproxima a la distribución posterior bajo ciertas condiciones.

Answer 3

Todos MLE es minimax pero no todos minimax es MLE. Algunos ejemplos de minimax estimadores que no maximizar la probabilidad son ROC de regresión, regresión logística condicional, modelos de riesgos proporcionales de Cox, vecino más cercano, quasilikelihood, la lista sigue y sigue. Hodge del "supereficiente" calculadora de los latidos de máxima verosimilitud, como una más eficiente UMVUE (insesgados de mínima varianza) estimador de la media en una muestra normal, pero NO es minimax

Answer 4

$$ Y_i = \alpha + \beta x_i + \varepsilon_i $$

• $\alpha,\beta$ no son al azar y no observables.
• $\varepsilon_i$ son aleatorios y no observables.
• $x_i$ no son al azar y son observables.
• $Y_i$ , en consecuencia, son al azar, y son observables.

Supongamos que usted tiene el de Gauss–Markov supuestos:

• Los errores de $\varepsilon_i$ tienen el valor esperado de cero.
• Los errores tienen todos la misma (finito) de la varianza, pero no necesariamente la misma distribución (en particular, no se supone que para ser normal).
• Los errores no están correlacionados, pero no necesariamente independientes.

Uno no puede hacer MLE porque no hay ninguna parametrización de la familia de distribuciones. Pero aún se puede hacer de mínimos cuadrados ordinarios.

Y entre todas las combinaciones lineales de las $y$-valores con los no-aleatorias observables de los coeficientes, que son unbaised estimadores de $\alpha$ e $\beta,$ el de mínimos cuadrados de los estimadores de la menor varianza.

Answer 5

Una respuesta a la pregunta "¿de regresión estimación, no es un MLE?", un sencillo y robusto alternativa de mínimos Cuadrados (LS) al parecer es Menos Absoluta Desviación (KOP).

Para citar una fuente:

"El mínimo absoluto de las desviaciones método (LAD) es una de las principales alternativas para el método de mínimos cuadrados cuando se pretende estimar los parámetros de regresión. El objetivo de un MUCHACHO de regresión es proporcionar un estimador robusto."

Curiosamente, por una referencia, la cita de "El mínimo absoluto de las desviaciones de la estimación también se plantea como la máxima probabilidad de estimar si los errores tienen una distribución de Laplace." Aquí está un enlace que explica algunas aplicaciones interesantes de la Laplace (como a un Bayesiana anterior, y para los eventos extremos).

Históricamente, el MUCHACHO procedimiento fue introducido 50 años antes de que el método de mínimos cuadrados (1757) por Roger Joseph Boscovich, que la emplea para conciliar incoherente medidas relativas a la forma de la tierra.

Una ilustración de la diferencia es en el caso muy simple de Y = Constante, donde el LS devuelve la media de la muestra, mientras que el MUCHACHO se selecciona la muestra de la mediana! Así, en contextos con uno o dos valores extremos, que por el motivo que sea (como heterocedasticidad), que puede surgir, LS podría mostrar un cambio importante en la verdadera estimación de la pendiente, especialmente cuando hay uno muy bajo y/o alto de la observación, como un notable debilidad. Wikipedia en regresión robusta hace un comentario de apoyo:

"En particular, menos plazas de las estimaciones para los modelos de regresión son muy sensibles a los valores extremos."

Con respecto a las aplicaciones, esto puede ser particularmente importante, por ejemplo, en la química basada en el análisis de los datos para predecir un llamado de reacción de la Tasa de la Ley (que se basa en la estimación de la pendiente).