24 votos

Idea e intuición de la estimación por cuasimáxima verosimilitud (QMLE)

Pregunta(s): ¿Cuál es la idea y la intuición que hay detrás de la estimación por cuasimáxima verosimilitud (QMLE; también conocida como pseudoestimación por máxima verosimilitud, PMLE)? ¿Qué hace que el estimador funcione cuando la distribución de errores real no coincide con la distribución de errores supuesta?

En Sitio Wikipedia para QMLE está bien (breve, intuitivo, al grano), pero me vendría bien algo más de intuición y detalle, quizá también una ilustración. Otras referencias son bienvenidas. (Recuerdo haber revisado bastantes libros de texto de econometría en busca de material sobre QMLE y, para mi sorpresa, QMLE sólo se trataba en uno o dos de ellos, por ejemplo Wooldridge "Análisis econométrico de datos transversales y de panel" (2010), capítulo 13, sección 11, pp. 502-517).

16voto

Jeff Bauer Puntos 236

"¿Qué hace que el estimador funcione cuando la distribución real del error no coincide con la distribución de error supuesta?".

En principio, el QMPLE no "funcionar", en el sentido de ser un "buen" estimador. La teoría desarrollada en torno al QMLE es útil porque ha dado lugar a pruebas de mala especificación.

Lo que ciertamente hace el QMLE es estimar consistentemente el vector de parámetros que minimiza la Divergencia de Kullback-Leiber entre la distribución verdadera y la especificada. Esto suena bien, pero minimizar esta distancia no significa que la distancia minimizada no sea enorme.

Aun así, leemos que hay muchas situaciones en las que el QMLE es un estimador consistente para la verdadero vector de parámetros. Esto tiene que ser evaluado caso por caso, pero permítanme dar una situación muy general, lo que demuestra que no hay nada inherente a la QMLE que hace que sea coherente para el verdadero vector ...

... Más bien es el hecho de que coincide con otro estimador que siempre es consistente (manteniendo el supuesto de muestra ergódica-estacionaria) : el antiguo estimador del Método de los Momentos.

En otras palabras, en caso de duda sobre la distribución, una estrategia a considerar es "especificar siempre una distribución para la que el estimador de Máxima Verosimilitud de los parámetros de interés coincida con el estimador del Método de los Momentos" De este modo, por muy errónea que sea la hipótesis de distribución, el estimador será al menos coherente.

Puede llevar esta estrategia a extremos ridículos: suponga que tiene una muestra i.i.d. muy grande de una variable aleatoria, en la que todos los valores son positivos. Siga adelante y suponga que la variable aleatoria se distribuye normalmente y aplique la máxima verosimilitud para la media y la varianza: su QMLE será coherente para los valores verdaderos.

Por supuesto, esto lleva a la pregunta, ¿por qué pretender aplicar MLE si lo que estamos haciendo esencialmente es confiar y escondernos detrás de las fortalezas del Método de los Momentos (que también garantiza la normalidad asintótica)?

En otros casos más refinados, se puede demostrar que QMLE es consistente para los parámetros de interés si podemos decir que hemos especificado correctamente la función media condicional pero no la distribución (este es por ejemplo el caso de Pooled Poisson QMLE - ver Wooldridge).

13voto

alexs77 Puntos 36

En papel de origen de Wedderburn en el 74 es una excelente lectura sobre el tema de la cuasilicuidad. En particular, observó que para familias exponenciales regulares, las soluciones a las ecuaciones de verosimilitud se obtenían resolviendo una ecuación de puntuación general de la forma: $$ 0 = \sum_{i=1}^n \mathbf{S}(\beta, X_i, Y_i) = \mathbf{D}^{T} W \left( Y - g^{-1} (\mathbf{X}^T \beta)\right) $$ Dónde $\mathbf{D} = \frac{\partial}{\partial \beta} g^{-1} ( \mathbf{X}^T \beta)$ y $W = \mathbf{V}^{-1}$ . Esta notación tiene su origen en el trabajo de McCullogh y Nelder en el texto original, " Modelos lineales generalizados ". M&N describen la resolución de este tipo de funciones mediante el algoritmo de tipo Gauss Newton.

Curiosamente, sin embargo, esta formulación recordaba a un estimador del tipo método de los momentos, en el que uno podía simplemente "poner lo que quería estimar" en el lado derecho de la expresión entre paréntesis y confiar en que la expresión convergiera a "esa cosa interesante". Era una forma prototipo de estimar ecuaciones.

Las ecuaciones de estimación no eran un concepto nuevo. De hecho, ya en la década de 1870 y principios de 1900 se intentó presentar EEs correctamente derivando teoremas límite a partir de EEs utilizando expansiones de Taylor, pero la falta de conexión con un modelo probabilístico fue motivo de discordia entre los revisores críticos.

Wedderburn demostró algunos resultados muy importantes: que utilizando la primera visualización en un marco general en el que la ecuación de puntuación $S$ puede sustituirse por un cuasiscoro, que no corresponde a ningún modelo probabilístico, sino que responde a una pregunta de interés, arroja estimaciones estadísticamente convincentes. La transformación inversa de una puntuación general dio lugar a un qMLE general que procede de una verosimilitud que es correcto hasta una constante proporcional. Esa constante proporcional se denomina "dispersión". Un resultado útil de Wedderburn es que las grandes desviaciones de los supuestos probabilísticos pueden dar lugar a dispersiones grandes o pequeñas.

Sin embargo, a diferencia de la respuesta anterior, la cuasi probabilidad tiene se ha utilizado mucho. En McCullogh y Nelder se aborda la modelización de poblaciones de cangrejos herradura. A diferencia de los humanos, sus hábitos de apareamiento son simplemente extraños: muchos machos pueden acudir a una sola hembra en "grupos" no medidos. Desde el punto de vista ecologista, la observación real de estos grupos está muy lejos del alcance de su trabajo, pero, no obstante, llegar a predicciones sobre el tamaño de la población a partir de capturas y sueltas planteaba un reto importante. Resulta que este patrón de apareamiento da lugar a un modelo de Poisson con una importante infradispersión, es decir, la varianza es proporcional, pero no igual a la media.

Las dispersiones se consideran parámetros molestos en el sentido de que generalmente no basamos la inferencia en su valor, y su estimación conjunta en una única verosimilitud da lugar a verosimilitudes muy irregulares. La cuasilibertad es un área muy útil de la estadística, sobre todo a la luz de los trabajos posteriores sobre ecuaciones de estimación generalizadas .

4voto

Frank Puntos 21

Richard Hardy me ha hecho una pregunta similar a la original. Mi confusión era que los parámetros estimados a partir de la cuasi-ML pueden no existir en la distribución "verdadera" desconocida. En este caso, ¿qué significa exactamente "coherencia"? ¿A qué convergen los parámetros estimados?

Tras consultar algunas referencias ( Blanco (1982) debería ser uno de los artículos originales, pero está cerrado. Una exposición útil que he encontrado es http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), mis ideas en lenguaje llano son las siguientes: después de admitir que la distribución que asumimos es sólo una aproximación a la verdadera desconocida, lo práctico que podemos hacer es encontrar el valor del parámetro para minimizar su distancia ( Distancia de Kullback-Leibler para ser precisos). Lo bueno de la teoría es que, sin necesidad de conocer la distribución real, los parámetros estimados a partir de la cuasilógica convergen a este parámetro que minimiza la distancia (por supuesto, hay otros resultados útiles de la teoría, como la distribución asintótica de los parámetros estimados, etc., pero no son el objeto de mi pregunta aquí).

Tal y como Alecos Papadopolous mencionó en su respuesta anterior, la distancia minimizada podría seguir siendo grande. Así que la distribución que asumimos podría ser una mala aproximación a la verdadera. Lo único que puede hacer la cuasi-ML es aproximar al máximo la distribución que suponemos a la verdadera distribución desconocida. Espero que mi experiencia compartida aquí pueda ser útil para otros que tengan confusiones similares.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X