Derivación de la verosimilitud marginal para verosimilitud y prior normal

Question

Para una probabilidad normal $$ P(\mathbf{y}|\mathbf{b}) = \mathcal{N}(\mathbf{Gb}, \mathbf{\Sigma}_y) $$ y una probabilidad previa normal $$ P(\mathbf{b}) = \mathcal{N}(\mathbf{\mu}_p, \mathbf{\Sigma}_p) $$ Estoy tratando de derivar la evidencia (o probabilidad marginal) $P(\mathbf{y})$ donde $$ P(\mathbf{y}) = \int P(\mathbf{y, b}) \, \mathrm{d}\mathbf{b} = \int P(\mathbf{y|b}) P(\mathbf{b}) \, \mathrm{d}\mathbf{b} = \mathcal{N}(\mu_{\mathrm{ML}}, \mathbf{\Sigma}_{\mathrm{ML}}) $$ ¿Podría alguien señalarme una fuente para esta derivación (o reproducirla)?

Intenté hacerlo de forma indirecta encontrando primero la posterior $P(\mathbf{b|y})$ y luego, mediante el teorema de Bayes, escribiendo $$ \ln{P(\mathbf{y})} = \ln{P(\mathbf{y|b})} + \ln{P(\mathbf{b})} - \ln{P(\mathbf{b|y})}, $$ luego, agrupando términos cuadráticos en $\mathbf{y}$ y usando la identidad de Woodbury, logré mostrar que la covarianza de la probabilidad marginal es $\mathbf{\Sigma}_{\mathrm{ML}} = \mathbf{G} \mathbf{\Sigma}_p \mathbf{G}^{\top} + \mathbf{\Sigma}_y$, pero no he podido obtener la media $\mu_{\mathrm{ML}}$.

Estoy seguro de que la integral se puede evaluar directamente para obtener la respuesta, pero no estoy seguro de cómo hacerlo.

¡Gracias!

Answer 1

La clave aquí es reescribir $y$ como $$y = Gb + e$$ donde $G$ es conocido, $b\sim N(\mu_p,\Sigma_p)$ y, independientemente, $e\sim N(0,\Sigma_y)$. Ahora $y$ es simplemente la suma de dos normales independientes que está completamente determinada por su media y matriz de covarianza. La media es $$E[Y] = E[Gb] + E[e] = GE[b] + 0 = G\mu_p$$ y la varianza es $$Var[y] = Var[Gb] + Var[e] = GVar[b]G^\top + Var[e] = G\Sigma_pG^\top +\Sigma_y$$. Dado que $b$ y $e$ son independientes, la covarianza es cero. De esta forma, la verosimilitud marginal es $$y\sim N(G\mu_p,G\Sigma_pG^\top + \Sigma_y).$$