Modelos de mezcla finita - Conocimientos básicos

Question

He estado leyendo diapositivas de conferencias sobre Proceso Dirichlet .

En la página 22, hay una imagen sobre el siguiente modelo de mezcla finita.

$$\phi _{k}\sim H\\ \pi \sim Dirichlet(\alpha /K,\dots,\alpha /K)\\ Z_{i}\rvert\pi \sim Discrete(\pi )\\ x_{i}\rvert\phi _{z_{i}}\sim F(\cdot \vert \phi _{z_{i}})$$

Conozco el significado de las siguientes variables (por favor, corríjanme si me equivoco):

$N:$ Número de parámetros/observaciones

$K:$ Número de modelos de mezcla

$\alpha:$ Parámetro de Dirichlet

$\pi:$ Distribución de probabilidad en N variables

$x_{i}$ variables observadas o datos que queremos modelar

$H:$ Hiperparámetros, distribución a priori sobre los modelos de mezcla K

$\phi _{k}:$ Parámetros del modelo k-ésimo

$F(\cdot \vert \phi _{z_{i}})$ Modelos de mezcla individuales

Mis preguntas son:

1. ¿Qué hace $z_{i}$ y cuál es la relación con $\pi$ y $x_{i}$ ?

2. ¿Qué hace $Z_{i}\rvert\pi \sim Discrete(\pi )$ ¿quieres decir?

3. ¿Qué hace $x_{i}\rvert\phi _{z_{i}}\sim F(\cdot \vert \phi _{z_{i}})$ ¿quieres decir?

Gracias.

Answer 1

Primero una breve introducción: en los modelos de mezcla finita (HMM) se observa una serie temporal $x_i, t =1,\dots, T$ y supones que en cada momento $t$ se encuentra en un régimen/estado específico que está representado por la variable $z_i \in \mathbb{Z}^+$ . Las observaciones $x_i$ se distribuyen de acuerdo con una distribución $F(\cdot)$ pero el parámetro de la distribución depende del estado en el que te encuentres, así que si estás en el estado 1 ( $z_i=1$ ) entonces $x_i \sim F(\phi_i) $ o de forma equivalente $x_i \sim F(\phi_{z_i})$ . En cuanto a la distribución de $Z_i$ creo que hay un problema, en el HMM estándar la variable asumida por $z_i$ depende del valor de $z_{i-1}$ . Sea $\boldsymbol{\pi}_i = (\pi_{i1}, \pi_{i2}...)$ sea un vector de probabilidad donde $pi_{ij}$ significa la probabilidad de estar en el estado $i$ y en el siguiente tiempo estar en el estado j, entonces la probabilidad de $z_i \sim \boldsymbol{\pi}_{z_{i-1}}$

Ahora:

1) $z_i$ indica el estado a tiempo $i$ depende del vector de probabilidad $\pi_{z_{i-1}}$ y decidir qué parámetro utilizar en la distribución de $x_i$

2) es la distribución (multinomial) de $z_i$

3)es la distribución de $x_i$

Answer 2

En otras palabras, asociado a cada $x_i$ es una variable aleatoria $z_i$ . $z_i$ se interpreta como una variable indicadora, que señala a qué componente de la mezcla pertenece la observación $x_i$ pertenece. $z_i=k$ implicar la observación $x_i$ se extrae del componente $k$ .

Tenga en cuenta que $P(z_i=k)=\pi_k$ .

Answer 3

$Z_{i}$ es la variable aleatoria y ( $z_{i}$ es un valor que puede tomar) que representa la variable aleatoria que produce $x_{i}$ . Interpretar $Z_{i}|\pi$ como $P(Z_{i}=z_{i}|\pi)$ y F(.| $\phi(z_{i})$ (esto no coincide con su diagrama) puede pensarse como F(X|Z)