¿Afirman los bayesianos que hay casos en los que su enfoque se generaliza/superpone al enfoque frecuentista?

Question

¿Afirman los bayesianos alguna vez que su enfoque generaliza el enfoque frecuentista, porque se pueden utilizar priores no informativos y, por tanto, se puede recuperar una estructura típica del modelo frecuentista?

¿Puede alguien remitirme a un lugar donde pueda leer sobre este argumento, si es que se utiliza?

EDIT: Esta pregunta tal vez no esté formulada exactamente como quería hacerlo. La pregunta es: "¿hay alguna referencia a la discusión de los casos en los que el enfoque bayesiano y el frecuentista se superponen/intercambian/tienen algo en común mediante el uso de una determinada prioridad?" Un ejemplo sería el uso de la previa impropia $p(\theta) = 1$ pero estoy bastante seguro de que esto es sólo la punta del iceberg.

Answer 1

He visto dos argumentos que afirman que el análisis bayesiano es una generalización del análisis frecuentista. Ambos eran un tanto irónicos, y más bien conseguían que la gente reconociera los supuestos de los modelos de regresión utilizando los priores como contexto.

Argumento 1: El análisis frecuencial es un análisis bayesiano con una prioridad puramente no informativa centrada en cero (sí, no importa dónde esté centrada, pero ignórelo). Esto proporciona el contexto en el que un bayesiano podría extraer los resultados de un análisis frecuentista, explica por qué se pueden utilizar algunas técnicas "bayesianas" como MCMC para extraer estimaciones frecuentistas en situaciones en las que, por ejemplo, la convergencia de máxima verosimilitud es difícil, y hace que la gente reconozca que cuando dicen "Los datos hablan por sí mismos" y cosas por el estilo, lo que en realidad están diciendo es que, de antemano, todos los valores son igualmente probables.

Argumento 2: Cualquier término de regresión que no incluir en un modelo tiene, en efecto, asignada una prioridad centrada en cero con no varianza. Esto no es tanto un "El análisis bayesiano es una generalización" como "Hay priores en todas partes incluso en sus modelos frecuentistas".

Answer 2

La respuesta corta es probablemente "sí y ni siquiera se necesita un previo plano para que este argumento se sostenga".

Por ejemplo, el Estimación máxima a posteriori (MAP) es una generalización de la máxima verosimilitud que incluye una prioridad, y hay enfoques frecuentistas que son analíticamente equivalentes para encontrar este valor. Los frecuentistas reetiquetan "la prioridad" como una "restricción" o "penalización" en la función de verosimilitud, y obtienen la misma respuesta. Así pues, tanto los frecuentistas como los bayesianos pueden señalar lo mismo como su mejor estimación del parámetro, aunque sus filosofías sean diferentes. La sección 5 de este documento frecuentista es un ejemplo en el que son equivalentes.

La respuesta más larga es más bien "sí, pero a menudo hay otros aspectos del análisis que distinguen los dos enfoques". Aun así, incluso estas distinciones no son necesariamente férreas en muchos casos."

Por ejemplo, aunque los bayesianos utilizan a veces la estimación del PAM (modo posterior) cuando es conveniente, normalmente hacen hincapié en la media posterior. Por otra parte, la media posterior también tiene un análogo frecuentista, llamado estimación "embolsada" (de "agregación bootstrap") que puede ser casi indistinguible (véase este pdf para un ejemplo de este argumento). Así que tampoco es una distinción "dura".

En la práctica, todo esto significa que incluso cuando un frecuentista hace algo que un bayesiano consideraría totalmente ilegal (o viceversa), suele haber (al menos en principio) un enfoque del otro bando que daría casi la misma respuesta.

La principal excepción es que algunos modelos son realmente difíciles de ajustar desde una perspectiva frecuentista, pero eso es más una cuestión práctica que filosófica.

Answer 3

Edwin Jaynes fue uno de los mejores en destacar las conexiones entre la inferencia bayesiana y la frecuentista. Su artículo intervalos de confianza frente a intervalos bayesianos (la búsqueda en Google lo trae) como una comparación muy completa - y creo que una justa.

La estimación de áreas pequeñas es otra área en la que las respuestas ML/REML/EB/HB tienden a estar cerca.

Answer 4

Muchos de estos comentarios suponen que "frecuentista" significa "estimación de máxima probabilidad". Algunas personas tienen una definición diferente: "frecuentista" significa un tipo de análisis de las propiedades inferenciales a largo plazo de cualquier método de inferencia, ya sea bayesiano, o método de los momentos, o máxima verosimilitud, o algo redactado en términos no probabilísticos (por ejemplo, SVM), etc.

Answer 5

Me gustaría que Stéphane o algún otro experto bayesiano me hablara de esto. Yo diría que no porque es un enfoque diferente, no una generalización. En otro contexto, esto se ha discutido aquí antes. No piense que sólo porque los a priori planos producen resultados cercanos a la máxima probabilidad, un método bayesiano con un a priori plano es frecuentista. Creo que eso sería una falsa presunción que te llevaría a pensar que al hacer el prior arbitrario estás generalizando a otros posibles priores. Yo no pienso así y estoy bastante seguro de que la mayoría de los bayesianos tampoco lo hacen.

Así que algunos lo argumentan pero no creo que deban ser clasificados como bayesianos

aunque Stéphane ha señalado la dificultad de una clasificación fuerte. Así que, en sentido estricto, si la palabra es siempre, supongo que dependerá de cómo se defina el término bayesiano.