Diferentes tipos de covarianza para los modelos de mezclas gaussianas

Question

Mientras se prueban los modelos de mezclas gaussianas ici encontré estos 4 tipos de covarianza.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Busqué mucho en Google para encontrar más detalles sobre cada uno de estos tipos, pero encontré descripciones de muy alto nivel (como este ) solamente.

Agradezco si alguien puede ayudarme a entender esto, o al menos dirigirme a algún lugar donde pueda leer sobre esto.

Answer 1

Una distribución gaussiana está completamente determinada por su matriz de covarianza y su media (una ubicación en el espacio). La matriz de covarianza de una distribución gaussiana determina las direcciones y longitudes de los ejes de sus contornos de densidad, todos ellos elipsoides.

Estos cuatro tipos de modelos de mezcla se pueden ilustrar con total generalidad utilizando el caso bidimensional. En cada uno de estos gráficos de contorno de la densidad de la mezcla, dos componentes se sitúan en $(0,0)$ y $(4,5)$ con pesos $3/5$ y $2/5$ respectivamente. Los diferentes pesos harán que el establece de los contornos para tener un aspecto ligeramente diferente incluso cuando las matrices de covarianza son las mismas, pero las formas generales de los contornos individuales seguirán siendo similares para matrices idénticas.

Si hace clic en la imagen, aparecerá una versión con mayor resolución.

NB Se trata de gráficos de las mezclas reales, no de los componentes individuales. Dado que los componentes están bien separados y tienen un peso comparable, los contornos de la mezcla se asemejan mucho a los de los componentes (excepto en los niveles bajos, en los que pueden distorsionarse y fusionarse, como se muestra en el centro del gráfico "atado", por ejemplo).

• Completo significa que los componentes pueden adoptar independientemente cualquier posición y forma.

• Atado significa que tienen la misma forma, pero la forma puede ser cualquier cosa.

• Diagonal significa que los ejes de los contornos están orientados a lo largo de los ejes de coordenadas, pero por lo demás las excentricidades pueden variar entre los componentes.

• Diagonal atada es una situación "atada" en la que los ejes de contorno están orientados a lo largo de los ejes de coordenadas. (He añadido esto porque inicialmente fue como interpreté erróneamente "diagonal").

• Esférico es una situación "diagonal" con contornos circulares (esféricos en dimensiones superiores, de ahí su nombre).

Esto exhibe una gama desde la mezcla más general posible hasta un tipo de mezcla muy específica. Es posible aplicar otras restricciones (más exigentes), sobre todo en dimensiones más altas en las que el número de parámetros crece rápidamente. (Una matriz de covarianza en $n$ dimensiones es descrito por $n(n+1)/2$ parámetros independientes).