Un límite en $I(X;Y)$ en términos de $I(X;Z)$ para $Y$ y $Z$ que son similares

Question

Dejemos que $X,Y,Z$ sean tres variables aleatorias. Supongamos que $Y$ y $Z$ son binarios. $I(A;B)$ es la información mutua entre las variables aleatorias $A$ y $B$ . Tengo curiosidad por saber si hay un límite en $I(X;Y)$ en términos de $I(X;Z)$ y la probabilidad de $Y=Z$ donde el límite es igual a $I(X;Y)$ para $Y=Z$ con probabilidad $1$ .

Gracias

Answer 1

Primero tenemos que establecer la siguiente desigualdad en forma de triángulo: $$H(A|B) \le H(A|C) + H(C|B),$$ lo que es cierto para todas las distribuciones conjuntas $A, B, C$ . En efecto, debido a la regla de la cadena tenemos: $$H(A|B) \le H(A, C|B) = H(A|C, B) + H(C|B) \le H(A|C) + H(C|B).$$

Ahora, debido a la desigualdad de Fano https://en.wikipedia.org/wiki/Fano%27s_inequality desde $Y$ y $Z$ son binarios que tenemos: $$H(Y|Z), H(Z|Y) \le h(\Pr[Y\neq Z]),$$ donde $h(x) = x\log_2(1/x) + (1 - x)\log_2(1/(1 - x))$ es una entropía binaria.

Ahora, fíjate en que $$I(X:Y) - I(X:Z) = H(X|Z) - H(X|Y) \le H(Y|Z) \le h(\Pr[Y\neq Z]),$$ $$I(X:Z) - I(X:Y) = H(X|Y) - H(X|Z) \le H(Z|Y) \le h(\Pr[Y\neq Z]),$$ es decir $$|I(X:Y) - I(X:Z)| \le h(\Pr[Y\neq Z]),$$ y este último tiende a $0$ como $\Pr[Y\neq Z] \to 0$ .