Recuperación de la distribución conjunta a partir de los marginales

Question

Supongamos que tenemos un Campo aleatorio de Markov P(X1,...,Xn) en el grafo G. Supongamos que conocemos P(Xi,Xj) para cada arista (i,j). ¿Podemos recuperar P(X1,...,Xn)?

Si G es un árbol, existe una fórmula para la unión (producto de los marginales de las aristas dividido por el producto de los marginales de los nodos). ¿Existe alguna fórmula que funcione para grafos no arbóreos?

Editar: esto es esencialmente equivalente al siguiente problema - dada una familia exponencial, ¿cómo escribir la articulación en términos de parámetros medios? Hay una solución de forma cerrada cuando suficientes estadísticas son 2 funciones variables definidas en (Xi,Xj) pares donde (i,j) son bordes en algún gráfico de árbol, ¿hay una solución de forma cerrada para otros gráficos?

Motivación: dado un método de marginación aproximado, ¿se pueden ajustar los parámetros de una distribución maximizando la verosimilitud conjunta de los datos bajo el modelo "implícito" en este método de marginación?

Answer 1

No, se puede construir un contraejemplo de la siguiente manera:

Sea G el grafo completo de 3 vértices, donde cada vértice es una variable aleatoria binaria. Sea la distribución conjunta para cada par de vértices Bernoulli independiente con probabilidad 1/2.

Existen múltiples distribuciones conjuntas que satisfacen tales marginales de borde. Por ejemplo:

• Bernoulli independiente para cada vértice, con probabilidad 1/2 (independencia mutua completa)
• Cada variable podría ser el XOR (suma módulo 2) de las otras dos variables (es decir, funcionalmente dependientes)
• La probabilidad de cada resultado podría ser 3/16 si 3 o 1 vértices son 1's, y 1/16 si 2 o 0 son 1's.

Entonces, ¿qué se necesita para poder determinar de forma unívoca la distribución conjunta? Si el grafo es descomponible (es decir, cordal o triangulado), se necesita la distribución conjunta para cada camarilla (subconjunto completo máximo) del grafo. Entonces la densidad conjunta es

$p(X) = \frac{\prod_{\text{cliques }C} p(X_C)}{\prod_{\text{separators }S} p(X_S)}$

(véase Dawid y Lauritzen (1993) Lemma 2.5)

Si el grafo no es descomponible, el problema es un poco más complicado: el único resultado que conozco es Lauritzen (1996) Lemma 3.14. Básicamente, dadas las distribuciones marginales de camarilla, la unicidad se determina cuando el espacio muestral es finito, y cada densidad marginal de camarilla es el límite de una secuencia de densidades positivas. Sospecho que este resultado podría reforzarse de alguna manera, pero no conozco ningún esfuerzo en este sentido.

Answer 2

El método para árboles debería generalizarse a grafos de treewidth acotado, donde la fórmula podría hacerse exponencialmente larga en el propio treewidth. Además, ¿te importa lo complicada (algorítmicamente) que sea la fórmula, porque probablemente sea posible escribir la fórmula general como algún tipo de suma sobre los árboles que abarcan el grafo?

Answer 3

Pude derivar algunas expresiones de forma cerrada usando Mathematica para un modelo Ising de bucle binario, pero son difíciles de manejar incluso para 3 bucles y se complican muy rápidamente al aumentar el tamaño del bucle.

La idea básica es utilizar el hecho de que el gradiente de log Z da probabilidades marginales, por lo que se invierte ese mapeo algebraicamente, se introduce en la ecuación original de la articulación y se simplifica.

Por ejemplo, aquí está la probabilidad de ising de 3 bucles tomando la configuración {x1,x2,x3} donde m1,m2,m3 son las probabilidades P(X1=X2),P(X2=X3),P(X3=X1) respectivamente, después de la simplificación (FullSimplify de Mathematica) http://mathurl.com/324o4a3

Para potenciales uniformes, no hay nada más bonito. Por ejemplo, tomemos el modelo de Ising con potenciales uniformes en un bucle de tamaño n, entonces la probabilidad de que todos los espines sean +1 puede escribirse en términos del marginal m = P(x1=x2) como

$exp(n j)/Z$ donde Z= $\lambda_1^n + \lambda_2^n$ , $\lambda_1=e^j+e^{-j}$ , $\lambda_2=e^j-e^{-j}$ y j es la solución de

$\frac{\lambda_1^n(e^{2j}-1)+\lambda_2^n(e^{2j}+1)}{2 \lambda_1 \lambda_2}/Z=m$

Mathematica puede resolver la ecuación anterior para varios valores de n, pero la expresión se hace grande muy rápidamente.