Por qué el ICA no funciona con datos gaussianos

Question

Los ejemplos que he encontrado lo explican utilizando datos gaussianos estándar, es decir $\mathcal{N}(0, I)$ (por ejemplo en Andrew Ng CS229 lecture page 3 ), diciendo que si es así, la matriz de mezcla con rotaciones arbitrarias no se puede determinar a partir de los datos, por lo que no podemos recuperar las fuentes originales.

Sin embargo, si utilizamos datos gaussianos con una matriz de covarianza no identitaria, ¿no es cierto que este problema no existe? Estoy confundido al respecto.

Answer 1

Consideremos un vector gaussiano multivariante $x \sim N(0,\Sigma)$ con una matriz de covarianza general $\Sigma \in \mathbb R^{d \times d}$ . El objetivo de ICA es encontrar una matriz $W$ tal que $s = Wx$ tiene componentes independientes. Ambos $x$ y $s$ están en $\mathbb R^d$ . Podemos hacer un par de observaciones:

• Tenemos $\mathbb E (s) = 0$ .
• Sabemos que una transformación lineal de un vector gaussiano (multivariado) es de nuevo gaussiano, por lo que $s$ tendrá una distribución gaussiana (multivariada) sin importar $W$ elegimos.
• Sabemos que la escala de los componentes individuales de $s$ no se puede recuperar, por lo que, sin pérdida de generalidad, podríamos suponer $\mathbb E( s_i^2) = 1$ .
• Queremos que los componentes de $s$ para ser independiente. Esto implica que la matriz de covarianza $s$ tiene que ser diagonal.

De esto se deduce que tenemos $s \sim N(0,I_d)$ Es decir, $s$ tiene que ser una gaussiana con la matriz de covarianza de identidad. Suponiendo que $W$ es invertible, con la inversa $A = W^{-1}$ tenemos $x = A s$ . Por lo tanto, el problema general del ICA gaussiano es de la forma $x = A s$ donde $s \sim N(0,I_d)$ .

TL;DR. La única distribución gaussiana de media cero con coordenadas independientes y escala fijada para tener coordenadas de varianza unitaria es $N(0,I_d)$ .