'Consejo de seguimiento' para expectativas de formas cuadráticas

Question

Estoy tratando de entender la prueba para la divergencia de Kullback-Leibler entre dos distribuciones normales multivariadas. En el camino, se aplica una especie de truco de traza para la expectativa de la forma cuadrática $$E[ (x-\mu)^T \Sigma^{-1} (x-\mu) ]= \operatorname{trace}(E[(x-\mu)(x-\mu)^T)] \Sigma^{-1}),$$

donde $x$ es MV-normal con media $\mu$ y matriz de covarianza $\Sigma$. La expectativa se toma sobre $x$.

Me gustaría entender por qué se cumple esta identidad. Creo que se dan más de un paso a la vez. Creo que $\operatorname{trace}(E[(x-\mu)(x-\mu)^T] \Sigma^{-1})$ = $\operatorname{trace}(E[(x-\mu) \Sigma^{-1} (x-\mu)^T])$, pero ¿de dónde viene la traza?

Answer 1

¿De dónde viene la traza?

Un número real puede considerarse como una matriz $1 \times 1$, y su traza es él mismo. Así $$(x-\mu)^\top \Sigma^{-1} (x-\mu) = \operatorname{tr}\left((x-\mu)^\top \Sigma^{-1} (x-\mu)\right)$$

Más de un paso se da a la vez.

Después de aplicar el paso anterior, utilice la propiedad cíclica de la traza para obtener $$\operatorname{tr}\left((x-\mu)^\top \Sigma^{-1} (x-\mu)\right) = \operatorname{tr}\left((x-\mu)(x-\mu)^\top \Sigma^{-1} \right)$$ Por linealidad del operador de traza, puede llevar la esperanza dentro $$E \operatorname{tr}\left((x-\mu)(x-\mu)^\top \Sigma^{-1} \right) = \operatorname{tr}\left(E\left[(x-\mu)(x-\mu)^\top\right] \Sigma^{-1} \right).$$

Answer 2

Para agregar a la respuesta de @angryavian, puedes intercambiar la expectativa y la traza porque, $$tr(E[A]) = tr(\begin{bmatrix} E[a_{11}] & \dots & \\ \vdots & E[a_{22}] & \\ & & \ddots\end{bmatrix}) = \sum\limits_{i=1}^N E[a_{ii}]=E[\sum\limits_{i=1}^N a_{ii}] = E[tr(A)]$$