29 votos

Estimación de máxima Verosimilitud -- ¿por qué se utiliza a pesar de ser parcial, en muchos casos,

Estimación de máxima verosimilitud, a menudo resulta en estimadores sesgados (por ejemplo, su estimación de la varianza de la muestra está sesgada por la distribución de Gauss).

Entonces, ¿qué hace tan popular? ¿Por qué se utiliza tanto? También, lo que en particular que lo hace mejor que el enfoque alternativo -- método de los momentos?

También, me di cuenta de que el Gaussiano, una simple ampliación de la MLE estimador hace que sea imparcial. ¿Por qué esta escala no es un procedimiento estándar? Me refiero a que ... ¿por Qué es que después de la MLE en el cálculo, no es de rutina para encontrar el necesario escala para hacer el estimador imparcial? El estándar de la práctica parece ser la llanura de cálculo de la MLE estimaciones, salvo, naturalmente, el bien conocido de Gauss caso de que el factor de escala es bien conocida.

26voto

AdamSane Puntos 1825

Unbiasedness no necesariamente es especialmente importante por su propia cuenta.

A un lado un conjunto muy limitado de las circunstancias, más útiles que los estimadores son sesgados, sin embargo están obtenidos.

Si dos estimadores tienen la misma varianza, fácilmente se puede montar un argumento para preferir el imparcial, uno a la sesgada uno, pero que es una situación inusual para ser (es decir, puede razonablemente prefieren unbiasedness, ceteris paribus - pero esos molestos ceteris casi nunca paribus).

Más generalmente, si usted desea unbiasedness agregar algunos varianza para obtenerla, y entonces la pregunta sería ¿por qué iba a hacerlo?

El sesgo es en qué medida el valor esperado de mi estimador será demasiado alto en promedio (con sesgo negativo indicando demasiado baja).

Cuando estoy considerando una pequeña muestra del estimador, yo realmente no se preocupan por eso. Normalmente estoy más interesado en cómo mucho mal a mi estimador será en esta instancia - mi distancia típica de la derecha... algo así como un root-mean-square error o un error absoluto promedio tendría más sentido.

Así que si te gusta varianza baja y baja sesgo, pidiendo decir que un mínimo error cuadrático medio del estimador tendría sentido; estos son muy rara vez imparcial.

Sesgo y unbiasedness es una noción útil para tener en cuenta, pero no es especialmente útil a la propiedad a buscar, a menos que estés comparación de estimadores con la misma varianza.

ML estimadores tienden a ser bajos de la varianza; por lo general, no mínimo MSE, pero a menudo tienen menor MSE de que la modificación sea imparcial (cuando se puede hacerlo a todos) le puede dar.

Como un ejemplo, considere la estimación de la varianza cuando el muestreo de una distribución normal $\hat{\sigma}^2_\text{MMSE} = \frac{S^2}{n+1}, \hat{\sigma}^2_\text{MLE} = \frac{S^2}{n}, \hat{\sigma}^2_\text{Unb} = \frac{S^2}{n-1}$ (de hecho el MMSE para la varianza siempre tiene un denominador más grande de $n-1$).

21voto

Richard Hardy Puntos 6099

MLE de los rendimientos del valor más probable de los parámetros del modelo, dado el modelo y los datos en la mano-lo que es bastante atractivo concepto. ¿Por qué elegir un valor que es menos probable si se puede elegir un valor que es el más probable? ¿Por qué elegir valores de los parámetros que hacen que los datos observados menos probable cuando usted puede elegir los valores que hacen de los datos observados el más probable a través de cualquier conjunto de valores? ¿Desea sacrificio esta característica para unbiasedness? Yo no digo que la respuesta es siempre clara, pero la motivación para el MLE es bastante fuerte e intuitiva.

También, MLE puede ser una aplicación más amplia que el método de los momentos, que yo sepa. MLE parece más natural en los casos de variables latentes; por ejemplo, una media móvil (MA) o modelo de un generalizado proceso autorregresivo heterocedasticidad condicional (GARCH) modelo puede ser estimado directamente por el MLE (directamente me refiero es suficiente para especificar una función de probabilidad y someterse a una rutina de optimización), pero no por el método de momentos (aunque indirecta soluciones utilizando el método de los momentos).

Edit: he editado la segunda frase en respuesta a un esclarecedor comentario de @Scortchi. Yo no era capaz de no evitar cierta torpeza, sin embargo, que es mi propia culpa.

12voto

mark Puntos 232

En realidad, la escala de la probabilidad máxima de estimaciones con el fin de obtener estimaciones imparciales es un procedimiento estándar en muchos problemas de estimación. La razón para esto es que el eml es una función de la suficiente estadísticas y así por el Rao-Blackwell teorema si usted puede encontrar un estimador imparcial basado en las estadísticas suficientes, entonces usted tiene una Insesgados de Mínima Varianza del Estimador.

Yo sé que tu pregunta es más general que el, pero lo que quiero enfatizar es que los principales conceptos están íntimamente relacionados con la probabilidad y las estimaciones basadas en ella. Estas estimaciones podrían no ser imparcial en muestras finitas pero son asintóticamente así y además son asintóticamente eficiente, es decir, alcanzar la Cramer-Rao obligado de la varianza para el imparcial de los peritos, que no siempre puede ser el caso de la MAMÁ de los estimadores.

12voto

Cliff AB Puntos 3213

Para responder a su pregunta de por qué el MLE es tan popular, hay que considerar que aunque puede ser parcial, es constante en condiciones estándar. Además, es asintóticamente eficiente, por lo que al menos para muestras grandes, el MLE es probable que hacer igual de bien o mejor como cualquier otro estimador puede cocinar. Finalmente, el MLE es encontrado por una receta sencilla; tomar la probabilidad de la función y maximizarlo. En algunos casos, que la receta puede ser difícil de seguir, pero para la mayoría de los problemas, no lo es. Además, una vez que usted tiene esta estimación, podemos derivar la asintótica de los errores estándar de inmediato el uso de Fisher de la información. Sin usar el Pescador de la información, es a menudo muy duro para obtener el error de límites.

Esta es la razón por la MLE estimación es muy a menudo el ir a la estimador (a menos que seas un Bayesiano); es simple de implementar y propensos a ser tan bueno si no mejor que cualquier otra cosa que usted necesita hacer más trabajo para cocinar.

3voto

hellfur Puntos 33

Me gustaría añadir que a veces (a menudo) utilizamos un MLE estimador porque eso es lo que tenemos, aunque en un mundo ideal no sería lo que queremos. (A menudo pienso en las estadísticas como la ingeniería, donde hacemos uso de lo que tenemos, no lo que queremos.) En muchos casos es fácil de definir y resolver para el MLE, y a continuación, obtener un valor con un enfoque iterativo. Mientras que para un parámetro dado en una situación dada puede haber un mejor estimador (para algún valor de "mejor"), pero la búsqueda puede requerir ser muy inteligente; y cuando acabes de ser inteligente, que sólo tienen el mejor estimador para que un problema en particular.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X