Multiplicación de una gaussiana multivariante por una gaussiana univariante

Question

No estoy seguro de si esta pregunta tiene sentido, pero he pasado mucho tiempo buscando información sobre la propagación de expectativas y una de las operaciones clave en ella, como explica Tom Minka, es la proyección del producto de distribuciones a la mejor aproximación gaussiana.

Entonces, tengo una configuración donde mi distribución conjunta toma la siguiente forma: $$ P(w)\times \prod_{i}P(y_i|w) $$

Ahora la probabilidad puede escribirse como: $$ P(y_i|w) = \frac{\phi}{2\pi} \exp^{0.5e_i\phi e_i} $$

donde supongamos por simplicidad que $\phi$ y $e$ puede calcularse a partir de la observación $y_i$ .

$P(w)$ es una gaussiana multivariante con una estructura de covarianza.

Así, ahora cuando aproxime cada uno de estos factores a su vez, tendré un producto sobre dicha distribución univariante y luego un producto sobre mi aproximación actual a $p(w)$ que es una gaussiana multivariante. Estoy totalmente confundido en cuanto a cómo se puede hacer esto. Sé que existen expresiones sencillas para la media y la varianza cuando se multiplican gaussianas univariantes, pero ni siquiera estoy seguro de qué hacer en este caso. ¿Tengo que ver también el componente i de esta gaussiana multivariante?

Agradecería cualquier ayuda/sugerencia al respecto.

Answer 1

Eche un vistazo a http://arxiv.org/pdf/1111.6832.pdf Apéndice A, en particular, donde se calculan las distribuciones de cavidad y es el mismo enfoque.

Básicamente, sólo hay que añadir los parámetros naturales a la dimensión a la que corresponden. Por ejemplo $K \in R^{n^2}, \mu \in R^n $ son los parámetros naturales de $P(w)$ y que $\sigma^2, u$ son los parámetros de $P(y_i|w)$ . Además $e_i$ sea un vector unitario en la dirección del $i^{th}$ dimensión. Como tal,

$P(w)P(y_i|w) = N(\mu',K')$

donde,

$K' = (K^{-1} + \frac{1}{\sigma^2}e_ie_i^T)^{-1}$

$\mu' = K'(K^{-1}\mu + \frac{u}{\sigma^2}e_i)$

Esto se puede hacer de una sola vez para reducir el coste de la inversión. $K$ cada vez.