¿Medida análoga al AIC que utiliza la distribución posterior para la selección del modelo?

Question

Supongamos el siguiente problema: tengo $n$ modelos, $M_k$ , cada una de ellas con parámetros $\mathbf{\theta}_k$ para un conjunto de datos $D$ . En este caso, las observaciones previas de un subconjunto de parámetros que son comunes a todos los modelos $M_k$ (es decir, tengo priores bien definidos para un subconjunto de los parámetros $\theta_k$ ), por lo que he realizado un algoritmo MCMC para obtener la distribución posterior de cada modelo utilizando esa información a priori, es decir, tengo $p(\theta_k|D,M_k)$ y tener que decidir cuál de esos modelos es el "correcto".

Estaba pensando en definir qué quiero decir con "la correcta", y se me ocurrió la idea de que tengo que decidir cuál de las distribuciones posteriores está más cerca de la distribución posterior "real" que generó los datos (que puede estar o no en mi conjunto de distribuciones posteriores). Estaba pensando en utilizar factores de bayes, pero sigo pensando que necesito algo como el AIC que, en lugar de utilizar la verosimilitud y las correspondientes estimaciones MLE, utiliza las distribuciones posteriores y las correspondientes estimaciones máximas a posteriori. Mi idea es obtener un estimador insesgado (o casi insesgado) de la divergencia KL entre la posterior real y mis posteriores (entendiendo que el AIC es un estimador de la divergencia KL entre la verosimilitud "real" y la verosimilitud de mis modelos).

¿Existe algo así en la literatura estadística? ¿Estoy un poco loco de pensar el problema así?

Answer 1

Ninguno de estos criterios de información es insesgado, pero bajo algunas condiciones son estimadores consistentes de la desviación fuera de la muestra. También utilizan la probabilidad de alguna manera, pero el WAIC y el LOOIC se diferencian del AIC y el DIC en que los dos primeros promedian la probabilidad para cada observación sobre la distribución posterior, mientras que los dos últimos introducen estimaciones puntuales. En este sentido, el WAIC y el LOOIC son preferibles porque no suponen que la distribución posterior sea normal multivariante, siendo el LOOIC algo preferible al WAIC porque puede hacerse más robusto a los valores atípicos y tiene un diagnóstico que puede evaluarse para ver si se cumplen sus supuestos.

Artículo general

Más detalles sobre los aspectos prácticos

Paquete R

Answer 2

En sentido estricto, la pregunta "para decidir cuál de esos modelos es el "correcto"" no tiene sentido en un análisis bayesiano. En el marco bayesiano, lo que se hace es comparar los modelos con respecto a los demás . La inferencia bayesiana siempre da una relativa comparación de los modelos de la competencia. Hay mucha información en el capítulo 7 de O'Hagan y Forster agradable libro . Y sí, este tipo de análisis se basará en los posteriors completos.

Answer 3

El BIC y el DIC son herramientas "bayesianas" similares al AIC. Una herramienta bayesiana de selección de modelos ligeramente diferente es la Puntuación Log-Predictiva.

Obsérvese que, a excepción del BIC, las herramientas bayesianas se basan en la distribución posterior (o en la muestra posterior) y no en estimadores puntuales. Esto es habitual en la estadística bayesiana, ya que el objetivo es tener en cuenta la variabilidad de los parámetros, que no se tiene en cuenta al utilizar estimadores puntuales.

Answer 4

Néstor: Parece que estás interpretando mal el BIC y el DIC. Se basan en un enfoque bayesiano. El hecho de que observes la probabilidad en sus expresiones se debe a una aproximación.

El BIC fue desarrollado por Gideon E. Schwarz, que dio un argumento bayesiano para adoptarlo.

El [DIC] es especialmente útil en los problemas de selección de modelos bayesianos en los que las distribuciones posteriores de los modelos se han obtenido mediante la simulación de Markov chain Monte Carlo (MCMC).

Las puntuaciones Log-Predictive SON puramente bayesianas y NO son estimadores enchufables. Son complementarios a los factores de Bayes ya que evalúan el rendimiento predictivo de un modelo.

También parece haber una contradicción en "Es especialmente útil en los problemas de selección de modelos bayesianos en los que las distribuciones posteriores de los modelos se han obtenido mediante simulación de Monte Carlo en cadena de Markov (MCMC)" y "Y, si lee atentamente mi pregunta, ESTOY buscando algo así como un criterio de información que incluya la distribución posterior (y, por tanto, la variabilidad de los parámetros en cada modelo)".

De todos modos, buena suerte...