¿Por qué si usamos la independencia y la factorización, no podemos representar todas las distribuciones conjuntas? (se necesita un argumento riguroso)

Question

Estaba leyendo el libro de modelos gráficos probabilísticos de Koller y dice algo así:

Deje que $P(x_i) = \theta_i $ .

Define:

$$P(x_1, \ldots , x_n) = \prod_ {i=1}^n \theta_i $$

Esta representación es limitada, y hay muchas distribuciones que que no podemos capturar eligiendo valores para $ \theta_i , \ldots , \theta_n $ . Este hecho es obvio no sólo por la intuición, sino también por un cierto una perspectiva más formal. El espacio de todas las distribuciones conjuntas es un $2^n - 1$ subespacio dimensional de $ \mathbb {R}^{2^n}$ - el conjunto $\{ (p_1, \ldots , p_{2^n}) \in \mathbb {R}^{2^n} : p_1 + \cdots + p_{2^n} = 1 \}$ . En por otro lado, el espacio de todas las distribuciones conjuntas especificadas en un de manera facorizada como en la ecuación anterior, es un múltiplo n-dimensional en $ \mathbb {R}^{2^n}$

Lo que me confunde de esta frase es la última frase:

Por otra parte, el espacio de todas las distribuciones conjuntas especificadas en un de manera facorizada como en la ecuación anterior, es un múltiplo n-dimensional en $ \mathbb {R}^{2^n}$

No entiendo lo que significa que la versión factorizada es un múltiplo n-dimensional en $ \mathbb {R}^{2^n}$ . No sé si es el texto o no sé lo que significa múltiple en este contexto (no estoy seguro de si una descripción de un conjunto haría el punto más claro). Pero, el asunto es que el conjunto que escribió inicialmente describiendo una distribución conjunta tenía sentido y lo entiendo (creo). Sólo dice que puede elegir cualquier vector en $ \mathbb {R}^{2^n}$ que satisface la condición de normalización. Sin embargo, no entiendo rigurosamente cuál es la limitación de la versión de factorización.

Answer 1

Faltan algunas piezas de información en la OP, y la anotación no es muy formal, sin embargo creo que es posible hacer ingeniería inversa de lo que está sucediendo.

Parece que tienes $n$ variables aleatorias, cada una de las cuales toma valores sobre $\{0,1\}$ o, alternativamente, tienes $n$ distribuciones de probabilidad en $\{0,1\}$ dado por $ \theta_1 , \dots , \theta_n $ . Cada una de estas distribuciones se caracteriza completamente por $q_i := \theta_i (1)$ desde $ \theta_i (0) = 1-q_i$ en tal caso. Ahora, estamos interesados en considerar una distribución (conjunta) $ \theta $ sobre $\{0,1\}^n$ . Este juego tiene $2^n$ puntos, así que cualquier distribución conjunta $ \theta $ puede caracterizarse como una $[0,1]^n \subseteq \Bbb R^n$ vector $p = (p_0, \dots ,p_{2^n-1})$ satisfactoria $$ \sum_ {j=0}^{2^n-1}p_j = 1. \tag {1} $$ La ecuación $(1)$ define el $(2^n-1)$ -múltiples dimensiones en $ \Bbb R$ cada punto en el que representan una única distribución conjunta. Entre esas distribuciones conjuntas, hay distribuciones factorizadas (o de productos) dadas por $ \theta = \theta_1\otimes \theta_2\otimes\dots\otimes\theta_n $ . Cada una de estas distribuciones de productos está determinada de manera única por una secuencia de $ \theta_i $ y al recordar cada una de ellas $ \theta_i $ está determinado de manera única por un único número real $q_i$ . Como resultado, cada distribución conjunta factorizada $ \theta $ está determinado de manera única por una colección de $n$ números reales, lo que sugiere por qué es que un $n$ - un múltiple dimensional. En particular, si $[j]_i$ denota el $i$ -la coordenada de la representación binaria de $j = 0,1, \dots ,2^n-1$ entonces $$ p_j = \prod_ {i=1}^n \theta_i ([j]_i) = \prod_ {i=1}^n \left (q_i \cdot [j]_i + (1-q_i)(1 -[j]_i) \right ). $$