¿Por qué alguien utilizaría un enfoque bayesiano con una prioridad impropia "no informativa" en lugar del enfoque clásico?

Question

Si el interés es simplemente estimar los parámetros de un modelo (estimación puntual y/o por intervalos) y la información a priori no es fiable, débil, (sé que esto es un poco vago pero estoy tratando de establecer un escenario en el que la elección de una previa es difícil) ... ¿Por qué alguien elegiría utilizar el enfoque bayesiano con priores impropios "no informativos" en lugar del enfoque clásico?

Answer 1

El enfoque bayesiano tiene ventajas prácticas. Ayuda a la estimación, que a menudo es obligatoria. Además, permite crear nuevas familias de modelos y ayuda a construir modelos más complicados (jerárquicos y multinivel).

Por ejemplo, con los modelos mixtos (que incluyen efectos aleatorios con parámetros de varianza) se obtienen mejores estimaciones si los parámetros de varianza se estiman marginando sobre los parámetros de nivel inferior (coeficientes del modelo; esto se denomina REML ). El enfoque bayesiano lo hace de forma natural. Con estos modelos, incluso con REML, las estimaciones de máxima probabilidad (ML) de los parámetros de la varianza son a menudo cero, o sesgadas hacia abajo. Una prioridad adecuada para los parámetros de varianza ayuda.

Aunque la estimación puntual ( MAPA , máximo a posteriori), los priores cambian la familia de modelos. La regresión lineal con un gran conjunto de variables algo colineales es inestable. La regularización L2 se utiliza como remedio, pero es interpretable como un modelo bayesiano con una prioridad gaussiana (no informativa) y una estimación MAP. (La regularización L1 es una prioridad diferente y da resultados diferentes. En realidad, aquí la prioridad puede ser algo informativa, pero se trata de las propiedades colectivas de los parámetros, no de un solo parámetro).

Así pues, hay algunos modelos comunes y relativamente sencillos en los que se necesita un enfoque bayesiano para conseguirlo.

Las cosas están aún más a favor con modelos más complicados, como el asignación latente de Dirichlet (LDA) utilizado en el aprendizaje automático. Y algunos modelos son inherentemente bayesianos, por ejemplo, los basados en Procesos de Dirichlet .

Answer 2

Hay varias razones:

1. En muchas situaciones, construir estadísticas de prueba o intervalos de confianza es bastante difícil, porque las aproximaciones normales -incluso después de utilizar una función de enlace adecuada- para trabajar con $\pm \text{SE}$ no suelen funcionar demasiado bien en situaciones de datos dispersos. Si se utiliza la inferencia bayesiana con priores no informativos implementados a través de MCMC, se puede evitar esto (para las advertencias, véase más abajo).
2. Las propiedades de las muestras grandes suelen ser completamente idénticas a algún enfoque frecuentista correspondiente.
3. A menudo existe una considerable reticencia a ponerse de acuerdo sobre cualquier previsión, por mucho que sepamos realmente, debido al miedo a ser acusados de "no ser objetivos". Si se utilizan priores no informativos ("sin priores") se puede fingir que no existe tal problema, lo que evitará las críticas de algunos revisores.

Ahora, en cuanto a las desventajas de usar sólo los antecedentes no informativos, comenzando con lo que creo que es lo más importante y luego dirigiéndose a algunos de los aspectos técnicos también bastante importantes:

1. La interpretación de lo que se obtiene es, sinceramente, muy parecida a la de la inferencia frecuentista. No se puede cambiar la etiqueta de la inferencia frecuentista de máxima verosimilitud por la inferencia bayesiana de máxima a-posteriori y afirmar que esto nos exime de cualquier preocupación por las comparaciones múltiples, las miradas múltiples a los datos y nos permite interpretar todas las afirmaciones en términos de la probabilidad de que alguna hipótesis sea verdadera. Claro, los errores de tipo I y demás son conceptos frecuentistas, pero como científicos deberíamos preocuparnos por hacer afirmaciones falsas y sabemos que hacer lo anterior causa problemas. Muchos de estos problemas desaparecen (o al menos son mucho menos problemáticos), si se incrustan las cosas en un modelo jerárquico / se hace algo empírico de Bayes, pero eso normalmente se reduce a generar implícitamente las prioridades a través del procedimiento de análisis, incluyendo la base de su prioridad en su modelo (y una alternativa a eso es formular explícitamente las prioridades). Estas consideraciones se ignoran con frecuencia, en mi opinión sobre todo para llevar a cabo el p-hacking bayesiano (es decir, introducir la multiplicidad, pero ignorarla) con la excusa de que esto no es un problema cuando se utilizan métodos bayesianos (omitiendo todas las condiciones que tendrían que cumplirse).
2. Desde un punto de vista más "técnico", los priores no informativos son problemáticos, porque no se garantiza una posterior adecuada. Mucha gente ha ajustado modelos bayesianos con priores no informativos y no se ha dado cuenta de que la posterior no es adecuada. Como resultado, se generaron muestras MCMC que no tenían sentido.

El último punto es un argumento para preferir priores más bien vagos (o ligeramente más débilmente informativos) que garanticen una posterior adecuada. Hay que admitir que a veces también puede ser difícil muestrear a partir de ellos, y puede ser difícil darse cuenta de que no se ha explorado toda la parte posterior. Sin embargo, los métodos bayesianos con priores vagos (pero adecuados) han demostrado en muchos campos tener propiedades realmente buenas en muestras pequeñas desde una perspectiva frecuentista, y ciertamente se podría ver eso como un argumento para usarlos, mientras que con algo más de datos apenas habrá diferencia frente a los métodos con priores no informativos.