Modelización de la mezcla de procesos de Dirichlet para una probabilidad gaussiana

Question

Dejemos que $\mathcal{Y} = (\mathbf{y}_1, \dots, \mathbf{y}_N)$ sean datos observados, de manera que cada $\mathbf{y}_i \in \mathbb{R}^2$ . Ahora condicionado a no observado centros de agrupación (medios) $\mathcal{X} = (\mathbf{x}_1, \dots, \mathbf{x}_K)$ , donde $K >>0, K \in [1,\infty)$ también es desconocido, tenemos

$$L(\mathcal{Y}|\mathcal{X}, \mathcal{C}, \Sigma,K) = \prod_{i =1}^N \prod_{j=1}^K [\mathcal{N}_2(\mathbf{y}_i;\mathbf{x}_j,\Sigma)]^{\mathcal{C}_{ij}},$$ donde $\Sigma$ es una matriz de covarianza conocida y $\mathcal{C}_{ij} = 1$ si la observación $i$ pertenece a la agrupación $j$ y es cero en caso contrario.

Ahora, denotemos el número de observaciones por cluster como $S_1, \dots S_K$ . Tenemos que $S_j = \sum_{i =1}^{N} \mathcal{C}_{ij}$ para cada $j = 1, \dots, K.$ El distribución de cada $S_j$ sigue $S_j \sim p(S)$ de forma independiente e idéntica, y aunque no es multinomial, se conoce.

Me gustaría inferir $K$ y $\mathcal{X}$ dada la configuración anterior. Dado que $K$ en esta aplicación es típicamente bastante grande (y puede ser infinito), esperaba utilizar algo de teoría en no paramétrica bayesiana, específicamente de modelos de mezcla Dirichlet. Sin embargo, como no tengo un modelo de mezcla gaussiano típico, no estoy seguro de cómo configurar esto.

Cualquier ayuda o indicación de documentos específicos que describan la teoría que necesito será muy apreciada. Gracias.

Answer 1

Proceso del restaurante chino

Definamos este problema utilizando la formulación del proceso de restaurante chino (CRP) del proceso de Dirichlet (DP), que puede resumirse como sigue (a partir de Gershman et al. , El énfasis es mío ):

Imagine un restaurante con un número infinito de mesas e imagina una secuencia de clientes que entran en el restaurante y se sientan. El primer cliente entra y se sienta en la primera mesa. El segundo cliente entra y se sienta en la primera mesa con probabilidad $\frac{1}{1+\alpha}$ y la segunda tabla con probabilidad $\frac{\alpha}{1+\alpha}$ , donde $\alpha$ es un real positivo. Cuando el $n^{th}$ cliente entra en el restaurante, se sienta en cada una de las mesas ocupadas con probabilidad proporcional al número de clientes anteriores sentado allí, y en el siguiente mesa desocupada con probabilidad proporcional a $\alpha$ .

Utilizando la siguiente analogía, se puede formular un problema de GMM infinito:

• número infinito de mesas $\equiv$ número infinito de conglomerados, es decir, número desconocido de conglomerados.
• clientes sentados en una mesa $\equiv$ observaciones pertenecientes a un clúster.
• parámetros de la tabla $\equiv$ los parámetros de los grupos, es decir, la media $x_k$ , covarianza $\Sigma$ .

Infinito-GMM

Ahora que tenemos una base sobre CRP, vamos a ver el proceso de generación de datos utilizando infinito-GMM con un previo CRP:

1. Primero tenemos que elegir una asignación de clústeres, $z_i$ para cada observación, $y_i$ . Utilizando un proceso de restaurante chino, suponemos que actualmente hay $K$ clusters, pero también tenemos una probabilidad de asignar una observación a un nuevo cluster $K+1$ . De esta manera no tenemos que arreglar $K$ a priori ,

$$ \begin{equation}\tag{1}\label{eqn1} P(z_i=k\mid \alpha) = \begin{cases} \frac{S_k}{S+\alpha-1} & , k \in [1, K]\\ \frac{\alpha}{S+\alpha-1} & , k = k_{new}=K+1\\ \end{cases} \end{equation} $$

2. Dada una asignación de cluster, podemos generar una observación a partir de la correspondiente gaussiana con parámetros: $y_i \sim \mathcal{N}(x_k, \Sigma)$

donde, $S_k$ son el número de observaciones asignadas al $k^{th}$ cluster, excluyendo el $i^{th}$ observación, y $S$ son el número total de observaciones.

Aplicación

El problema del infinito-GMM puede resolverse utilizando un muestreador de Gibbs, que alternativamente muestrea $z_i$ y los parámetros del modelo $\mu_k, \Sigma$ . Aquí hay algunos recursos para ello:

• La implementación en MATLAB de Yee Whye Teh del infinito-GMM es aquí .
• Puede encontrar más detalles sobre las matemáticas aquí