Cuándo los campos aleatorios de Markov $\neq$ ¿familias exponenciales?

Question

En su libro de texto, Modelos gráficos, familias exponenciales e inferencia variacional , M. Jordan y M. Wainwright discutir la conexión entre Familias exponenciales y Campos aleatorios de Markov (modelos gráficos no dirigidos).

Estoy tratando de entender mejor la relación entre ellos con las siguientes preguntas:

• ¿Son todos los MRF miembros de las familias exponenciales?
• ¿Pueden representarse todos los miembros de las familias de Exponential como un MRF?
• Si las MFRs $\neq$ Familias exponenciales, ¿cuáles son algunos buenos ejemplos de distribuciones de un tipo no incluidas en el otro? ?

Por lo que entiendo en su libro de texto (capítulo 3), Jordan y Wainwright presentan el siguiente argumento:

---

1. Digamos que tenemos una variable aleatoria escalar X que sigue alguna distribución $p$ y dibujar $n$ observaciones i.i.d. $X^1, \ldots X^n$ y queremos identificar $p$ .

2. Calculamos las expectativas empíricas de ciertas funciones $\phi_\alpha%$

   $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ para todos $\alpha \in \mathcal{I}$

   donde cada $\alpha$ en algún conjunto $\mathcal{I}$ indexa una función $\phi_\alpha: \mathcal{X} \rightarrow R$

3. Entonces, si obligamos a que los dos conjuntos de cantidades siguientes sean coherentes, es decir, que coincidan (para identificar $p$ ):

   • Las expectativas $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ de las estadísticas suficientes $\phi$ de la distribución $p$

   • Las expectativas bajo la distribución empírica

obtenemos un problema indeterminado en el sentido de que hay muchas distribuciones $p$ que son coherentes con las observaciones. Así que necesitamos un principio para elegir entre ellas (para identificar $p$ ).

Si utilizamos el principio de máxima entropía para eliminar esta indeterminación, podemos obtener un único $p$ :

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ con sujeción a $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ para todos $\alpha \in \mathcal{I}$

donde este $p^*$ tiene la forma $p_\theta(x) \propto$ exp ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ donde $\theta \in R^d$ representa una parametrización de la distribución en forma de familia exponencial.

En otras palabras, si

1. Hacer que las expectativas de las distribuciones sean consistentes con las expectativas bajo la distribución empírica
2. Utilizar el principio de máxima entropía para deshacerse de la indeterminación

$\rightarrow$ Terminamos con una distribución de la familia exponencial.

---

Sin embargo, esto parece más bien un argumento para introducir familias exponenciales, y (por lo que puedo entender) no describe la relación entre las MRF y las familias exp. ¿Me estoy perdiendo algo?

Answer 1

Tienes toda la razón: el argumento que has presentado relaciona la familia exponencial con el principio de máxima entropía, pero no tiene nada que ver con los MRF.

Para responder a sus tres preguntas iniciales:

¿Pueden representarse todos los miembros de las familias de Exponential como un MRF?

Sí. De hecho, cualquier función de densidad o de masa puede representarse como una MRF. Según Wikipedia [1], un MRF se define como un conjunto de variables aleatorias que son Markov con respecto a un grafo no dirigido. Equivalentemente, la distribución conjunta de las variables puede escribirse con la siguiente factorización: $$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$$ donde $cl(G)$ es el conjunto de camarillas máximas en $G$ . A partir de esta definición se puede ver que un gráfico completamente conectado, aunque no tiene información, es consistente con cualquier distribución.

¿Son todos los MRF miembros de las familias exponenciales?

No. Dado que todas las distribuciones pueden representarse como MRFs (y no todas las distribuciones pertenecen a la familia exponencial) debe haber algunos "miembros del MRF" que no sean miembros de la familia exponencial. Sin embargo, esta es una pregunta perfectamente natural - parece que la gran mayoría de MRFs que la gente utiliza en la práctica $are$ distribuciones de la familia exponencial. Todos los MRF discretos de dominio finito y los MRF gaussianos son miembros de la familia exponencial. De hecho, dado que los productos de las distribuciones de la familia exponencial también están en la familia exponencial, la distribución conjunta de cualquier MRF en la que cada función potencial tiene la forma de un miembro (no normalizado) de la familia exponencial estará en la familia exponencial.

Si las MFRs $\neq$ Familias exponenciales, ¿cuáles son algunos buenos ejemplos de distribuciones de un tipo no incluidas en el otro?

Las distribuciones mixtas son ejemplos comunes de distribuciones familiares no exponenciales. Consideremos el modelo de espacio de estados lineal gaussiano (como un modelo de Markov oculto, pero con estados ocultos continuos y distribuciones de transición y emisión gaussianas). Si se sustituye el núcleo de transición por una mezcla de gaussianas, la distribución resultante ya no pertenece a la familia exponencial (pero sigue conservando la rica estructura de independencia condicional característica de los modelos gráficos prácticos).

[1] http://en.wikipedia.org/wiki/Markov_random_field