Cálculo real de la selección de modelos bayesianos

Question

He estado revisando la selección de modelos bayesianos, donde la probabilidad de los datos dado el modelo se define con la siguiente ecuación: $$p(y|M_k) = \int p(y|\theta)p(\theta|M_k)d\theta$$ Según tengo entendido, $p(y|\theta)$ es simplemente la distribución de y bajo los parámetros que ya hemos definido. Estoy un poco confundido por el término $p(\theta|M_k)$ . Sé que podemos reescribirlo con la regla de Bayes: $$p(\theta|M_k) = p(\theta)p(M_k|\theta)$$ Supongo que podemos encontrar el valor de $p(\theta)$ utilizando la distribución de probabilidad Beta. Pero lo que ocurre con $p(M_k|\theta)$ ? ¿Cómo estimamos la probabilidad del modelo dados los parámetros? Parece que deberíamos estimar la probabilidad de la distribución de probabilidad dados sus parámetros, así que tal vez sea un problema de distribución Dirichlet?

No sé qué hacer con esto $p(M_k|\theta)$ término, estará muy agradecido si me lo puede explicar.

Answer 1

Me parece que cada uno de los modelos que está comparando también viene con una prioridad que es específica para ese modelo. En un escenario de regresión simple, por ejemplo, usted está tratando de elegir entre explicar $y$ con:

Modelo 1 ( $M_1$ ), que tiene un único regresor $x_1$ y los antecedentes $f_1(\beta)$ y $g_1(\sigma)$ . Estos antecedentes son su $p(\theta|M_1$ ), con $\theta=(\beta,\sigma)$ .

Modelo 2 ( $M_2$ ), que tiene un único regresor $x_2$ y los antecedentes $f_2(\beta)$ y $g_2(\sigma)$ . Estos antecedentes son su $p(\theta|M_2$ ), con $\theta=(\beta,\sigma)$ .

Puede encontrar un buen ejemplo en las diapositivas 42-46 aquí: https://drive.google.com/file/d/0B081GdveJIEkVmwzTUJzdk15WE0/view?usp=sharing

Answer 2

Sobre la cuestión de los modelos a priori:

Por lo general, es imposible asignar una prioridad específica a cada uno de los $2^p=K$ modelos, en los que $p$ es el número de predictores. Una forma convencional de abordar este problema es obtener una previa no informativa de los modelos, ya que es difícil saber algo específico sobre el espacio del modelo. Sin embargo, si se está seguro de la inclusión de la probabilidad de algunas variables, es posible transmitir esta información en la configuración.

La idea es descentralizar la masa previa de manera que el MCMC pueda descubrir la mayoría de los modelos buenos. Un ejemplo de una configuración convencional para el modelo a priori es el siguiente:

$\textrm{for}\quad M_k\in\mathcal{M} \quad \textrm{let} \quad M_k\sim{}Bin(p,\phi)\quad \textrm{where} \quad \phi\sim{}Beta(a,b) $

Dejando $a=1$ se obtiene $b=\frac{p-\mathbb{E}(M_k)}{\mathbb{E}(M_k)}$ Por lo tanto, sólo hay que especificar el tamaño esperado de los modelos a priori, aunque se desea que esta expectativa tenga la menor influencia posible.

Puede utilizar una prioridad de modelo de teselación y una prioridad de cresta para los coeficientes si su matriz de diseño es singular, de esa manera evitará centrar la masa previa alrededor de los malos modelos, haciendo más fácil para el MCMC descubrir buenos modelos.