Cálculo de la covarianza de las mezclas gaussianas

Question

Tengo un modelo de mezcla gaussiana, dado por: $$ X \sim \sum_{i = 1}^M \alpha_i N_p(\mu_i, C_i) $$ tal que $\sum_{i=1}^M\alpha_i =1 $ . ¿Hay alguna manera de calcular la matriz de covarianza global si $x$ ? Me gustaría decir " $X$ tiene una matriz de covarianza dada por $C$ ".

Answer 1

Supongo que estás hablando acerca de la combinación lineal de independiente aleatoria Gaussiana vectores.

Deje $X_i$ ser un azar vector Gaussiano con media de $\mu_i$ y matriz de covarianza $C_i$: $$ \mathbb{E}\left(X_i\right) = \mu_i, \quad \mathbb{E}\left((X_i-\mu_i) \otimes (X_i-\mu_i)\right) = C_i $$ Deje $Z = \sum_{i=1}^n \alpha_i X_i$ donde $\alpha_i \in \mathbb{R}$. Claramente $Z$ es un aleatoria Gaussiana vector como una combinación lineal de aleatoria Gaussiana vectores. Así, es determinada por su media de vector y matriz de covarianza.

La media de vector es fácil de encontrar, usando la linealidad de la espera: $$ \mathbb{E}\left(Z\right) = \mathbb{E}\left(\sum_{i=1}^n \alpha_i X_i\right) = \sum_{i=1}^n \alpha_i \mathbb{E}\left(X_i\right) = \sum_{i=1}^n \alpha_i \mu_i $$ La matriz de covarianza, utilizando la linealidad y la independencia de $X_i$$X_j$$i\not=j$: $$ \mathbb{Cov}\left(Z, Z\right) = \sum_{i=1}^n \sum_{j=1}^n \alpha_i \alpha_j \mathbb{Cov}\left(X_i, X_j \right) \stackrel{\text{indep.}}{=} \sum_{i=1}^n \alpha_i^2 \mathbb{Cov}\left(X_i, X_i \right) = \sum_{i=1}^n \alpha_i^2 C_i $$

Answer 2

$\newcommand{\var}{\operatorname{var}}$ Puedes escribir $x = y + \text{error}$ , donde $y = \mu_i$ con probabilidad $\alpha_i$ , para $i=1,\ldots,M$ y el condicional distribución de probabilidad del "error" dado $y$ es $N(0,C_i)$ . Entonces tenemos $$ E(x) = E(E(x\mid y)) = E\left.\begin{cases} \vdots \\ \mu_i & \text{with probability }\alpha_i \\ \vdots \end{cases}\right\} = \sum_{i=1}^M\alpha_i\mu_i, $$ y $$ \begin{align} \var(x) = {} & E(\var(x\mid y)) + \var(E(x \mid y)) \\[12pt] = {} & E\left.\begin{cases} \vdots \\ C_i & \text{with probability }\alpha_i \\ \vdots \end{cases}\right\} \\ & {} + \var\left.\begin{cases} \vdots \\ \mu_i & \text{with probability }\alpha_i \\ \vdots \end{cases} \right\} \\[12pt] = {} & \sum_{i=1}^M \alpha_i C_i + \sum_{i=1}^M \alpha_i(\mu_i-\bar\mu)(\mu_i-\bar\mu)^T, \end{align} $$ donde $\bar\mu=\sum_{i=1}^M \alpha_i\mu_i$ .

Answer 3

Un modelo de mezcla se refiere comúnmente a una suma ponderada de densidades, no a una suma ponderada de variables aleatorias como en la respuesta de Sasha Como ejemplo más sencillo, una variable aleatoria (escalar) variable aleatoria $Z$ se dice que tiene una densidad de mezcla gaussiana si su función de densidad de probabilidad es $$f_Z(z)=\alpha f_X(z)+(1\alpha)f_Y(z), ~0<\alpha<1$$ donde $X$ y $Y$ son variables aleatorias gaussianas con diferentes densidades, es decir, $(\mu_X,\sigma_X^2)\neq(\mu_Y,\sigma_Y^2)$ . Se deduce directamente que $$\begin{aligned} E[Z]&= \int_{-\infty}^\infty zf_Z(z)\,\mathrm dz& &= \alpha\mu_X + (1-\alpha)\mu_Y\\ E[Z^2]&= \int_{-\infty}^\infty z^2f_Z(z)\,\mathrm dz& &= \alpha(\sigma_X^2+\mu_X^2) + (1-\alpha)(\sigma_Y^2 + \mu_Y^2)\\ \text{var}(Z) &= E[Z^2] - (E[Z])^2& &= \alpha(\sigma_X^2+\mu_X^2) + (1-\alpha)(\sigma_Y^2 + \mu_Y^2) - [\alpha\mu_X + (1-\alpha)\mu_Y]^2 \end{aligned}$$ que desgraciadamente no se simplifica en una fórmula bonita.

De forma más general, una densidad de mezcla tendría $n, n > 1,$ términos con pesos positivos $\alpha_1, \alpha_2, \ldots, \alpha_n$ sumando a $1$ . Lo más sencillo es pensar en una partición del espacio muestral en eventos $A_k, 1 \leq k \leq n$ con $P(A_k) = \alpha_k$ . Entonces, $Z$ es una variable aleatoria cuya distribución condicional dado $A_k$ es una distribución gaussiana $f_k(z) \sim N(\mu_k,\sigma_k^2)$ y, por lo tanto, el incondicional distribución es, a través de la ley de la probabilidad total, $$f(z) = \sum_{k=1}^n \alpha_k f_k(z).$$ La expresión desgarbada $\alpha(\sigma_X^2+\mu_X^2) + (1-\alpha)(\sigma_Y^2 + \mu_Y^2) - [\alpha\mu_X + (1-\alpha)\mu_Y]^2$ derivado anteriormente para la varianza de $Z$ puede así ser manipulado en $$\bigr[\alpha\sigma_X^2 + (1-\alpha)\sigma_Y^2\bigr] + \biggr(\bigr[\alpha\mu_X^2 + (1-\alpha)\mu_Y^2\bigr] - \bigr[\alpha\mu_X + (1-\alpha)\mu_Y\bigr]^2\biggr)$$ que, aunque no es bonito, puede identificarse como una ilustración de la fórmula de la varianza condicional:

La varianza de $Z$ es la media de la varianza condicional más la varianza de la media condicional.

Cuando $Z$ es una variable aleatoria vectorial cuyas distribuciones condicionales son conjuntamente gaussianas con el vector de la media $\mu$ y la matriz de covarianza $C_i$ , se pueden hacer cálculos similares, y la matriz de covarianza incondicional de covarianza incondicional. Supongamos que la densidad condicional de $Z$ dado $A_k$ es una densidad conjuntamente gaussiana con vector de media $\mu^{(k)}$ y matriz de covarianza $C^{(k)}$ . Entonces, $$E[Z_i] = \sum_{k=1}^n \alpha_k \mu_i^{(k)} ~\text{and}~ E[Z_iZ_j] = \sum_{k=1}^n \alpha_k \bigr(C_{i,j}^{(k)} + \mu_i^{(k)}\mu_j^{(k)}\bigr)$$ dando $$\begin{align}C_{i,j} = \text{cov}(Z_i,Z_j) &= \sum_{k=1}^n \alpha_k \bigr(C_{i,j}^{(k)} + \mu_i^{(k)}\mu_j^{(k)}\bigr) - \left(\sum_{k=1}^n \alpha_k \mu_i^{(k)}\right) \left(\sum_{k=1}^n \alpha_k \mu_j^{(k)}\right)\\ &= \left(\sum_{k=1}^n \alpha_k C_{i,j}^{(k)}\right) + \left(\sum_{k=1}^n \alpha_k \mu_i^{(k)}\mu_j^{(k)} - \left(\sum_{k=1}^n \alpha_k \mu_i^{(k)}\right) \left(\sum_{k=1}^n \alpha_k \mu_j^{(k)}\right)\right) \end{align}$$ que es una ilustración de la fórmula de covarianza condicional:

La covarianza de dos variables aleatorias es la media de las covarianzas condicionales más la covarianza de las medias condicionales.

Answer 4

Motivado por la respuesta proporcionada por Michael Hardy, una solución formal a tal pregunta podría formularse como sigue:

Introduciendo una nueva variable oculta $I$ para representar la identidad del modelo local, la probabilidad de las mezclas gaussianas puede descomponerse como $$p(x|I=i)=\mathcal{N}(\mu_i,C_i)$$ $$p(I=i)=\alpha_i$$ Por lo tanto, $$E(x)=E[E(x|I=i)]=\sum_{i=1}^{M} \alpha_i \mu_i$$ \begin{align} Var(x)&=E[Var(x|I=i)]+Var[E(x|I=i)] \\ &=\sum_{i=1}^{M} \alpha_i C_i + \sum_{i=1}^{M} \alpha_i (\mu_i-\bar{\mu})(\mu_i-\bar{\mu})^T \end{align} donde $\bar{\mu}=E(x)$ . Además, el Ley de la expectativa total y Ley de la varianza total se han utilizado en las dos ecuaciones anteriores.