¿Por qué la estimación de máxima verosimilitud se considera una técnica frecuentista?

Question

Para mí, la estadística frecuentista es sinónimo de intentar tomar decisiones que sean buenas para todas las muestras posibles. Es decir, una regla de decisión frecuentista $\delta$ debe intentar siempre minimizar el riesgo frecuentista, que depende de una función de pérdida $L$ y el verdadero estado de naturaleza $\theta_0$ :

$$R_\mathrm{freq}=\mathbb{E}_{\theta_0}(L(\theta_0,\delta(Y))$$

¿Cómo se relaciona la estimación de máxima verosimilitud con el riesgo frecuentista? Dado que es la técnica de estimación puntual más utilizada por los frecuentistas debe haber alguna conexión. Por lo que yo sé, la estimación de máxima verosimilitud es más antigua que el concepto de riesgo frecuentista, pero aun así tiene que haber alguna relación, ¿por qué si no tanta gente afirma que es una técnica frecuentista?

La conexión más estrecha que he encontrado es que

"Para modelos paramétricos que satisfacen condiciones de regularidad débiles, el máximo máxima verosimilitud es aproximadamente minimax". Wassermann 2006, p. 201 "

La respuesta aceptada vincula la estimación puntual de máxima verosimilitud más fuertemente al riesgo frecuentista o proporciona una definición formal alternativa de la inferencia frecuentista que muestra que MLE es una técnica de inferencia frecuentista.

Answer 1

Usted aplica una definición relativamente estrecha del frecuentismo y de la MLE - si somos un poco más generosos y definimos

• Frecuentismo: objetivo de coherencia, optimalidad (asintótica), insesgadez y tasas de error controladas en muestreos repetidos, independientes de los parámetros verdaderos.

• MLE = estimación puntual + intervalos de confianza (IC)

entonces parece bastante claro que la MLE satisface todos los ideales frecuentistas. En particular, los IC en MLE, como valores p, controlan la tasa de error bajo muestreo repetido, y no dan la región de probabilidad del 95% para el valor verdadero del parámetro, como mucha gente piensa - de ahí que sean frecuentistas hasta la médula.

No todas estas ideas estaban ya presentes en El trabajo fundacional de Fisher de 1922 "Sobre los fundamentos matemáticos de la estadística teórica" Sin embargo, la idea de optimalidad e imparcialidad sí lo es, y Neyman añadió la idea de construir IC con tasas de error fijas. Efron, 2013, "Una discusión de 250 años: La creencia, el comportamiento y el bootstrap" resume en su amena historia el debate entre bayesianos y frecuentistas:

El movimiento frecuencialista se puso en marcha a principios del siglo XX. Ronald Fisher desarrolló la teoría de la máxima verosimilitud de la estimación óptima, mostrando el mejor posible para una estimación, y Jerzy Neyman hizo lo mismo para los intervalos de confianza y las pruebas. confianza. Los procedimientos de Fisher y Neyman encajaban casi a la perfección a las necesidades científicas y a los límites computacionales de la ciencia del siglo XX, arrojando al bayesianismo a una existencia en la sombra.

En cuanto a su definición más estricta, discrepo ligeramente de su premisa de que la minimización del riesgo frecuentista (FR) es el principal criterio para decidir si un método sigue la filosofía frecuentista. Yo diría que el hecho de que la minimización del FR sea una propiedad deseable sigue de la filosofía frecuentista, en lugar de precederla. Por lo tanto, una regla de decisión/estimador no tiene que minimizar la FR para ser frecuentista, y minimizar la FR tampoco significa necesariamente que un método sea frecuentista, pero un frecuentista preferiría sin duda minimizar la FR.

Si nos fijamos específicamente en la MLE Fisher demostró que la MLE es asintóticamente óptima (en términos generales equivalente a minimizar la FR), y esa fue sin duda una de las razones para promover la MLE. Sin embargo, era consciente de que la optimalidad no se mantenía para un tamaño de muestra finito. Aún así, estaba contento con este estimador debido a otras propiedades deseables como la consistencia, la normalidad asintótica, la invarianza bajo transformaciones de los parámetros y, no lo olvidemos, la facilidad de cálculo. La invarianza, en particular, se subraya abundantemente en el artículo de 1922 - de mi lectura, yo diría que el mantenimiento de la invarianza bajo la transformación de parámetros, y la capacidad de deshacerse de los priores en general, fueron una de sus principales motivaciones en la elección de MLE. Si quieres entender mejor su razonamiento, te recomiendo el artículo de 1922, está muy bien escrito y explica muy bien su razonamiento.

Answer 2

Básicamente, por dos razones:

• La máxima verosimilitud es un estimación puntual de los parámetros del modelo. A los bayesianos nos gustan las distribuciones posteriores.
• La máxima verosimilitud supone sin distribución previa Los bayesianos necesitamos nuestros priors, pueden ser informativos o no informativos, pero tienen que existir.