Representación de familias exponenciales de gaussianas multivariantes

Question

Estoy un poco perplejo con la representación de la familia exponencial de una distribución gaussiana multivariante. Básicamente, la forma exponencial es una forma genérica para una gran clase de distribuciones de probabilidad. La forma estándar es

$$f_X(x) = \exp[\theta' T(x) + F(\theta)]$$

donde $\theta$ es un conjunto de parámetros (basados en $\mu$ y $\Sigma$ ), $T(x)$ es un vector de estadísticas suficientes, y $F$ es una función de los parámetros que garantiza que la distribución es una pdf, es decir, que suma uno. Para más información sobre esta forma, véase http://www.cs.columbia.edu/~jebara/4771/tutoriales/conferencia12.pdf , http://en.wikipedia.org/wiki/Exponential_family etc.

La "conversión" de una distribución gaussiana multivariante a la forma de la familia exponencial es la siguiente

$$\theta = [\Sigma^{-1}\mu, -\frac{1}{2}\Sigma^{-1}]'$$ $$T(x) = [x, x x']'$$

pero esto es confuso porque el producto exterior $x x'$ es una matriz y $-\frac{1}{2}\Sigma^{-1}$ también es una matriz. Así, parece que el producto entre $\theta$ y $T(x)$ debería dar como resultado una "entrada" escalar y una "entrada" matricial. Obviamente, esta expresión debe evaluarse como un escalar.

El producto interior funciona bien en el caso escalar, y entiendo que esta conversión se calcula manipulando a la forma cuadrática $x'Ax + b'x$ . Sin embargo, parece que me estoy perdiendo algo aquí. Gracias por su ayuda.

Answer 1

Ha pasado mucho tiempo desde que lo preguntaste, pero quiero darte una respuesta adecuada con ecuaciones completas.

$\begin{align*} p(x) &= \frac{1}{\sqrt{\left|2\pi \Sigma \right|}} \exp \left\{-\frac{1}{2}\left(x-\mu\right)'\Sigma^{-1}\left(x-\mu \right) \right\}\\ &= \exp \left\{-\frac{1}{2}\log\left(\left|2\pi\Sigma \right| \right) \right\}\exp \left\{-\frac{1}{2}\left(x-\mu\right)'\Sigma^{-1}\left(x-\mu \right) \right\}\\ &= \exp \left\{-\frac{1}{2}\left[\underbrace{x'\Sigma^{-1}x - 2\mu'\Sigma^{-1}x}_{\theta'T\left(x\right)} + \mu'\Sigma^{-1}\mu + \log \left(\left|2\pi\Sigma\right| \right)\right] \right\} \end{align*}$

Para reordenar la ecuación original en la forma de una familia exponencial, necesitamos utilizar la relación entre el producto de Frobenius y el operador vectorizador.

$\begin{align*} x'\Sigma^{-1}x &= \Sigma^{-1}:xx'\\ &= \operatorname{vec}\left(\Sigma^{-1}\right)' \,\operatorname{vec}\left(xx' \right) \\ \mu' \Sigma^{-1} x &= \left(\Sigma^{-1}\mu \right)'x\end{align*}$

$\therefore x'\Sigma^{-1}x - 2\mu'\Sigma^{-1}x = \begin{bmatrix}\operatorname{vec}\left(\Sigma^{-1}\right) \\ -2\Sigma^{-1}\mu \end{bmatrix}'\begin{bmatrix}\operatorname{vec}\left(xx'\right) \\ x \end{bmatrix}$