¿Cómo son los factores de Bayes en realidad bayesianos?

Question

He estado haciendo algunas modelo lineal, análisis sobre factores de Bayes últimamente y tengo dos probablemente preguntas muy básicas:

1) tal y Como yo lo entiendo, un factor de Bayes es simplemente un cociente de probabilidad, es decir,

p(data|M1)/p(data|M2).

Pero eso no es realmente la inferencia Bayesiana, es? Desde el punto entero de la inferencia Bayesiana es convertir p(data|model) a p(model|data)?

Seguro, personas argumentan que, dada la igualdad de las probabilidades previas de ambos modelos, la ecuación anterior es equivalente a p(M1|data)/p(M2|data), pero todavía me parece que el factor de Bayes enfoque es que falta el punto entero de la inferencia Bayesiana. Especialmente desde que lo genial de modelado Bayesiano es que puedo tener tanto en el momento previo y posterior de las distribuciones para cada modelo de coeficiente, me siento como factor de Bayes comparación de los modelos está a la altura de el poder de la Bayesiano de modelos?

2) ¿Cómo es posible, en primer lugar, que los factores de Bayes, que se basa en (unpenalized) probabilidad, puede favorecer el modelo nulo? No debería la probabilidad de aumentar siempre con modelos más complejos, es decir, con el no-modelo nulo?

Espero que algunos de ustedes puede arrojar un poco de luz en mi mente.

Answer 1

Mientras he escrito más ampliamente sobre las limitaciones del factor de Bayes como un medio para llevar a cabo la comparación de modelos, el primer punto es que, de hecho, no es la Bayesiano respuesta a la pregunta de prueba de Que el modelo de $M_1$ o modelo de $M_2$ es el verdadero modelo? cuando se evaluó con la Neyman-Pearson función de pérdida. El buen Bayesiano respuesta es el modelo con la mayor probabilidad posterior. Cuando el uso de otros pérdida de las funciones, la adecuada Bayesiano respuesta es la probabilidad posterior de sí mismo. Históricamente, el factor de Bayes ha sido defendido por Jeffreys (circa 1939) como una respuesta objetiva de la probabilidad posterior, como se evacua el impacto de la antes de pesos de los modelos de $M_1$ e $M_2$, que puede considerarse como el hecho de no tomar ventaja de la Bayesiano formalismo, pero realmente refleja la inmensa incertidumbre en la configuración de estos pesos.

En el segundo punto, está bien documentado que los factores de Bayes están proporcionando natural de la penalización por la complejidad de la integración de un espacio más grande, como opuesto a los cocientes de probabilidad que se aprovechan de la mejor encaja en ambos modelos. El factor de Bayes es a menudo visto como un cuasi-automática de la navaja de Occam por esta razón, que es también por qué el criterio de información Bayesiano (BIC) $$\mathrm{BIC} = {\log(n)k - 2\log(L({\hat \theta}))}$$ es utilizado por los no-Bayesians así.

Answer 2

El problema es que, aunque el factor de Bayes, asumiendo la igualdad de antes de probabilidad de las hipótesis rivales, es un cociente de probabilidad, no es el cociente de probabilidad de que usted piensa que es. Aquí, la probabilidad de $M_1$ es

$$ p(datos|M_1) = \int p(datos|M_1, \theta_1) p(\theta_1|M_1) d\theta_1. $$

El truco que faltaban, que responde directamente a las dos partes 1) y 2), es que lo que queremos decir en este contexto , cuando decimos que la probabilidad de los datos dado el modelo 1 incorpora el consentimiento previo de los parámetros, el único de los (posibles) antes de la información que (a menudo) tirar es que sólo estamos suponiendo que (normalmente) que las hipótesis son a priori igualmente probables.

En otras palabras, se fueron mezclando $p(data|M_1)$ con $p(data|M_1, \theta_1)$.