Factores de Bayes con priores inadecuados

Question

Tengo una pregunta sobre la comparación de modelos mediante factores de Bayes. En muchos casos, los estadísticos están interesados en utilizar un enfoque bayesiano con priores inadecuados (por ejemplo, algunos priores de Jeffreys y priores de referencia).

Mi pregunta es, en aquellos casos en los que la distribución posterior de los parámetros del modelo está bien definida, ¿es válido comparar modelos utilizando factores de Bayes bajo el uso de priores impropios?

Como ejemplo sencillo, considere la comparación de un modelo Normal frente a un modelo Logístico con priores de Jeffreys.

Answer 1

No. Mientras que los priores inadecuados pueden ser buenos para la estimación de parámetros en ciertas circunstancias (debido a la Teorema de Bernstein-von Mises ), son un gran obstáculo para la comparación de modelos, debido a lo que se conoce como el paradoja de la marginación .

El problema, como su nombre indica, es que la distribución marginal de una distribución impropia no está bien definida. Dada una probabilidad $p_1(x \mid \theta)$ y una previa $p_1(\theta)$ El factor de Bayes requiere el cálculo del probabilidad marginal :

$$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$$

Si se piensa que un previo impropio sólo se conoce hasta la proporcionalidad (por ejemplo $p_1(\theta) \propto 1$ ), entonces el problema es que $p_1(x)$ se multiplicará por una constante desconocida. En un factor de Bayes, estarás calculando la relación de algo con una constante desconocida.

Algunos autores, en particular E.T. Jaynes, intentan sortear esta situación definiendo los priores impropios como el límite de una secuencia de priores apropiados: entonces el problema es que puede haber dos secuencias limitadoras diferentes que den respuestas distintas.