Independencia condicional e información mutua

Question

Tengo una pregunta sobre la independencia condicional. Según la wikipedia (sí, quizá no sea la mejor fuente) dos variables aleatorias son condicionalmente independientes dada una tercera si $$p(x,y|z) = p(x|z)p(y|z)\:\:\forall z.$$

Sin embargo, leí una definición de información mutua de independencia condicional que decía que dos variables aleatorias son condicionalmente independientes si $$I[X|Z:Y|Z] = \left\langle\left\langle\log \frac{p(x,y|z)}{p(x|z)p(y|z)}\right\rangle_{X,Y|Z}\right\rangle_Z = 0.$$

Ahora bien, no estoy seguro de que las dos ecuaciones sean equivalentes. La primera implica definitivamente la última. Sin embargo, la última no implica la primera (¿o sí?), ya que podría haber $z$ para lo cual $p(x,y|z) \not= p(x|z)p(y|z)$ sino el conjunto de todos los $z$ para el que eso es cierto tiene medida cero.

Supongo que la última ecuación significa independencia condicional sólo casi con seguridad (en términos de $z$ ) pero no puntualmente, pero la primera requiere una igualdad puntual.

¿Estoy en lo cierto? Si no es así, ¿dónde está mi error?

Answer 1

La definición de información mutua condicional debería decir, en sus anotaciones, $$I[X|Z:Y|Z] = \left\langle\left\langle\log \frac{p(x,y|z)}{p(x|z)p(y|z)}\right\rangle_{X,Y\mid Z}\right\rangle_Z,$$ o, de forma equivalente, $$I[X|Z:Y|Z] =\left\langle\log \frac{p(x,y|z)}{p(x|z)p(y|z)}\right\rangle_{X,Y,Z}.$$ Para las variables aleatorias discretas, esto es $$I[X|Z:Y|Z] = \sum_zp(z)\sum_{x,y}p(x,y\mid z)\log \frac{p(x,y|z)}{p(x|z)p(y|z)},$$ o, de forma equivalente, $$I[X|Z:Y|Z] =\sum_{x,y,z}p(x,y,z)\log \frac{p(x,y|z)}{p(x|z)p(y|z)}.$$ Entonces se aplica el mismo argumento que en el caso incondicional, a saber $$I[X|Z:Y|Z] = -\sum_{x,y,z}p(x,y,z)\log \frac{p(x|z)p(y|z)}{p(x,y|z)},$$ y, como $(-\log)$ es convexo, $$I[X|Z:Y|Z] \geqslant -\log S,$$ donde $$S=\sum_{x,y,z}p(x,y,z)\frac{p(x|z)p(y|z)}{p(x,y|z)}=\sum_zp(z)\sum_xp(x\mid z)\sum_yp(y\mid z)=\sum_zp(z)\cdot1\cdot1=1,$$ por lo que $\log S=0$ y $I[X|Z:Y|Z] \geqslant0$ . Además , $I[X|Z:Y|Z] =0$ si y sólo si la desigualdad de convexidad anterior es una igualdad, es decir, la función a integrar debe ser constante, es decir, aquí, $$\frac{p(x|z)p(y|z)}{p(x,y|z)}=c.$$ Suma de $(x,y)$ las identidades $p(x|z)p(y|z)=cp(x,y|z)$ se ve que esto sólo es posible con $c=1$ por lo que $\log S=0$ . Finalmente, $I[X|Z:Y|Z]=0$ si y sólo si, para cada $(x,y,z)$ , $$p(x,y|z)=p(x|z)p(y|z).$$