¿Ejemplos en los que el método de los momentos puede superar a la máxima verosimilitud en muestras pequeñas?

Question

Los estimadores de máxima verosimilitud (MLE) son asintóticamente eficientes; el resultado práctico es que a menudo son mejores que las estimaciones del método de los momentos (MoM) (cuando difieren), incluso con tamaños de muestra pequeños

Aquí "mejor que" significa en el sentido de que normalmente tiene una varianza menor cuando ambos son insesgados, y normalmente un error cuadrático medio (MSE) menor en general.

La pregunta, sin embargo, se produce:

¿Existen casos en los que el MdM puede superar al MLE - en MSE ¿en pequeñas muestras?

(cuando no se trata de una situación impar/degenerada - es decir, dado que se dan las condiciones para que el ML exista/sea asintóticamente eficiente)

Una pregunta de seguimiento sería entonces "¿cómo de grande puede ser lo pequeño?", es decir, si hay ejemplos, ¿hay algunos que todavía se mantienen con tamaños de muestra relativamente grandes, quizás incluso con todos los tamaños de muestra finitos?

[Puedo encontrar un ejemplo de un estimador sesgado que puede vencer a ML en muestras finitas, pero no es MoM].

---

Nota añadida a posteriori: mi atención aquí se centra principalmente en el caso univariante (que es en realidad de donde procede mi curiosidad subyacente). No quiero descartar los casos multivariantes, pero tampoco quiero adentrarme en discusiones extensas sobre la estimación de James-Stein.

Answer 1

En el proceso de responder a esto: Estimación de los parámetros de una binomial Me tropecé con este documento:

Ingram Olkin, A John Petkau, James V Zidek: Una comparación de estimadores N para la distribución binomial. Jasa 1981.

que ofrece un ejemplo en el que el método de los momentos, al menos en algunos casos, supera a la máxima verosimilitud. El problema es la estimación de $N$ en la distribución binomial $\text{Bin}(N,p)$ donde ambos parámetros son desconocidos. Aparece, por ejemplo, al tratar de estimar la abundancia de animales cuando no se pueden ver todos los animales, y la probabilidad de avistamiento $p$ también se desconoce.

Answer 2

Fuentes adicionales a favor del MOM:

Hong, H. P., y W. Ye. 2014. Análisis de las cargas de nieve extremas en el suelo de Canadá a partir de los registros de la profundidad de la nieve . Natural Hazards 73 (2):355-371.

El uso de MML podría dar predicciones poco realistas si el tamaño de la muestra es pequeño (Hosking et al. 1985; Martin y Stedinger 2000).

---

Martins, E. S., y J. R. Stedinger. 2000. Estimadores de cuantiles de valores extremos generalizados de máxima verosimilitud para datos hidrológicos . Water Resources Research 36 (3):737-744.

Resumen:

La distribución de valores extremos generalizados (GEV) de tres parámetros ha encontrado una amplia aplicación para describir las inundaciones anuales, las precipitaciones, la velocidad del viento, la altura de las olas, la profundidad de la nieve y otros máximos. Los estudios anteriores muestran que los estimadores de máxima verosimilitud (MLE) de los parámetros en muestras pequeñas son inestables y recomiendan los estimadores de momentos L. Investigaciones más recientes muestran que los estimadores cuantílicos del método de los momentos tienen para -0,25 < κ < 0,30 un error cuadrático medio menor que los momentos L y los MLE. El examen del comportamiento de los MLEs en muestras pequeñas demuestra que se pueden generar valores absurdos del parámetro de forma GEV κ. El uso de una distribución bayesiana a priori para restringir los valores de κ a un rango estadística/físicamente razonable en un análisis de máxima verosimilitud generalizada (GML) elimina este problema. En nuestros ejemplos, el estimador GML fue sustancialmente mejor que los estimadores de cuantiles de momento y de momento L para - 0,4 ≤ κ ≤ 0.

En las secciones de Introducción y Revisión de la Literatura citan otros trabajos que concluyen que el MOM en algunos casos supera al MLE (de nuevo el modelado de valores extremos), por ejemplo

Hosking et al. [1985a] muestran que los estimadores de parámetros MLE de muestra pequeña son muy inestables y recomiendan estimadores de momentos ponderados por la probabilidad (PWM) que son equivalentes a los estimadores de momento L [Hosking, 1990]. [...]

Hosking et al. [1985a] demostraron que los estimadores de momentos ponderados por la probabilidad (PM) o momentos L equivalentes (LM) para la distribución GEV son mejores que los estimadores de máxima verosimilitud (MLE) en términos de sesgo y la varianza para tamaños de muestra que varían de 15 a 100. Más recientemente, Madsen et al. [1997a] demostraron que el método de de los momentos (MOM) tienen un RMSE menor (root-mean-squareer ror) para -0,25 < K < 0,30 que LM y MLE al estimar el evento de 100 años para tamaños de muestra de 10-50. Los MLE son preferibles sólo cuando K > 0,3 y el tamaño de la muestra son modestas (n >= 50).

K (kappa) es el parámetro de forma del GEV.

papeles que aparecen en las citas:

Hosking J, Wallis J, Wood E (1985) Estimación de la distribución generalizada de valores extremos por el método de los momentos ponderados por la probabilidad . Technometrics 27:251-261.

Madsen, H., P. F. Rasmussen y D. Rosbjerg (1997) Comparación de los datos anuales de de series máximas anuales y de series de duración parcial para modelar eventos hidrológicos extremos , 1, Modelización in situ, Water Resour. Res, 33(4), 747-758.

Hosking, J. R. M., Momentos L: Análisis y estimación de distribuciones utilizando combinaciones lineales de estadísticas de orden J. R. Stat. Soc., Ser. B, 52, 105-124, 1990.

---

Además, tengo la misma experiencia que se concluye en los artículos anteriores, en caso de modelar eventos extremos con un tamaño de muestra pequeño y moderado (<50-100 que es típico) MLE puede dar resultados poco realistas, la simulación muestra que MOM es más robusto y tiene menor RMSE.

Answer 3

Un ejemplo que, ciertamente, está relacionado con el fenómeno James-Stein, aunque en la dimensión uno.

En el caso de la estimación de la norma al cuadrado $\theta=||\mu||^2$ de un vector medio gaussiano, al observar $X\sim\mathcal N_p(\mu,\mathbf I_p)$ el MLE $$\hat\theta^\text{MLE}=||x||^2$$ es bastante pobre [en términos de pérdida de error al cuadrado] cuando se compara con el estimador de momento $$\hat\theta^\text{MM}=||x||^2-p$$ que la versión truncada a la izquierda supera a la propia $$\hat\theta^\text{TMM}=(||x||^2-p)^+$$ Sorprendentemente, la MLE de $\theta$ basado en la distribución MLE original $$\hat\theta^\text{MLE}\sim\chi^2_p(\theta)$$ es diferente y aparentemente admisible, situándose entre $\hat\theta^\text{TMM}$ y $$\hat\theta^\text{JS}=(||x||^2-p+1)^+$$