p(x) en el modelo de mezcla gaussiana

Question

Hace poco me enteré de Modelos de mezclas gaussianas (GMM) en la escuela. La fórmula de un MMG es más o menos así:

$$p(x) = \sum_{k=1}^{K} \pi_i\mathcal{N}(x|\mu_i,\,\sigma^{2}_i)$$

Ahora, sé por la teoría de la probabilidad que dada una cierta muestra $x$ la probabilidad de que sume 1.

Por ejemplo, si lanzo un dado de seis caras, la probabilidad de que obtenga o no el número $5$ es igual a 1.

¿Qué significa exactamente $p(x)$ aquí representan? La probabilidad de que un determinado $x$ cae en el modelo? Siento que me estoy perdiendo algo fundamental aquí.

Answer 1

La fórmula dice que la variable aleatoria $X$ en cuestión tiene función de densidad de probabilidad $p(x)$ dado por el suma ponderada de $K$ diferentes densidades gaussianas con pesos que suman uno.

El fundamento de un MMG es que, de alguna manera, creemos que sus observaciones proceden de $K$ diferentes grupos, y cada grupo tiene su propia distribución. Luego se deja la libertad a cada observación de pertenecer a cualquiera de cada grupo. Así, se puede pensar en los datos generados por un modelo de mezcla en dos pasos:

(1) grupo de sorteo $i$ con probabilidad $\pi_i$ ,

(2) extrae una observación de la distribución del grupo en (1).

Los novatos suelen confundir la distribución del modelo de mezcla con la de la suma de variables aleatorias, digamos $X_1+X_2+\cdots+X_K$ . Pero, por ejemplo, una suma de $K$ Variables aleatorias gaussianas, $X_1+\cdots+X_K$ sigue siendo una gaussiana, mientras que una variable aleatoria cuya densidad es la suma de densidades gaussianas (como el caso que nos ocupa) no es gaussiana.

Answer 2

La primera es que el $p(x)$ representa una densidad y no una probabilidad a la manera clásica en que un acontecimiento $x$ es probable que ocurra con probabilidad $p(x)$ .

Entonces la forma correcta de pensar $p(x)$ es como la suma ponderada de densidades en un punto dado $x$ . Dicho esto, piense en el siguiente ejemplo:

Se tiene una distribución Normal centrada en $-1$ y una distribución Normal centrada en $1$ . Ahora alguien te dice que un punto $x$ es probable que pertenezca a la primera distribución normal con probabilidad $\pi =0.2$ entonces la probabilidad de que el punto pertenezca al segundo es $1-\pi =0.8$ . Con esto en mente entonces alguien le pregunta cuál es la densidad en el punto $x=0$ será naturalmente la suma de las dos distribuciones normales en el punto $x=0$ . ¿Pero es sólo eso? Tienes la información de que la segunda es 4 veces más probable que la primera. Por lo tanto, es de esperar que la densidad de la segunda distribución normal contribuya 4 veces más que la primera. Por lo tanto, tendrás que la densidad en un punto concreto $x=0$ será $p(0) = 0.2 * Norm(0;-1,\sigma) + 0.8*Norm(0;1,\sigma)$

Y de nuevo no es una probabilidad es una densidad, en caso discreto esta cambia. Espero que esto ayude