Regla de la cadena de información mutua

Question

Tengo una pregunta (quizás sencilla) sobre la regla de la cadena para la información mutua. La fórmula viene dada por

$$I(X_1, X_2, ..., X_n; Y) = \sum_{i=1}^{n} I(X_i; Y| X_{i-1}, X_{i-2}, ..., X_1)$$

Mi pregunta es cómo utilizarlo en la siguiente ecuación:

$$I(X; Y_1, Y_2) = I(X; Y_1) + I(X; Y_2| Y_1) \hspace{3cm} (1)$$

Sólo tengo $I(X; Y_1, Y_2) = I(Y_1, Y_2; X) = I(X; Y_1) + I(Y_2; X|Y_1)$

Con la definición de información condicional y la regla de la cadena para la entropía se deduce que

$I(X,Y_2|Y_1) = H(X|Y_1) - H(Y_2,X|Y_1) + H(Y_2|Y_1)$

y

$I(Y_2;X|Y_1) = H(Y_2|Y_1) - H(X,Y_2|Y_1) + H(X|Y_1)$

Esto nos lleva a la ecuación $H(Y_2, X|Y_1) = H(X, Y_2| Y_1)$ lo que evidentemente no es cierto. ¿Dónde me equivoco? Además, ¿cómo puedo derivar la ecuación (1) directamente por la regla de la cadena? También he seguido la prueba en wikipedia , lo cual entendí. Pero todavía no lo veo desde la regla de la cadena para la información mutua.

Muchas gracias por su ayuda y paciencia :)

Answer 1

La ecuación $H(Y_2, X|Y_1) = H(X, Y_2|Y_1)$ es cierto. En general, se puede cambiar el orden de las variables aleatorias bajo la función de entropía sin cambiar su valor, lo que se deduce informalmente del hecho de que $p_{(X,Y,Z)}(x,y,z) = p_{(Y,X,Z)}(y,x,z)$ y la definición de entropía: $$H(X,Y|Z) = -\sum p_{(X,Y,Z)}(x,y,z) \log \frac{p_{(X,Y,Z)}(x,y,z)}{p_Z(z)} \\ = -\sum p_{(Y,X,Z)}(y,x,z) \log \frac {p_{(Y,X,Z)}(y,x,z)}{p_Z(z)} = H(Y,X|Z).$$

Con un argumento muy similar $I(X;Y_2|Y_1) = I(Y_2;X|Y_1)$ por lo que tu aplicación de la regla de la cadena es correcta y (1) se deduce del trabajo que ya has realizado: $$ I(X;Y_1,Y_2)=I(Y_1,Y_2;X)=I(X;Y_1)+I(Y_2;X|Y_1) = I(X;Y_1)+I(X;Y_2|Y_1).$$