Información mutua y función bivariada de las variables independientes

Question

Dejemos que $X, Y, Z$ sean variables aleatorias discretas con $X$ y $Y$ independiente de $Z$ , mientras que $X$ y $Y$ puede ser dependiente. Para la información mutua, tenemos $I(X; Y,Z) = I(X;Y)$ . Ahora considere $I(X; f(Y,Z))$ para alguna función determinista $f$ . Hace $I(X; f(Y,Z))$ dependen de $Z$ ? Si no es así, ¿hay alguna forma de expresar $I(X; f(Y,Z))$ en términos de $X$ y $Y$ ¿sólo?

Answer 1

$I(X;f(Y, Z))$ puede depender del $Z$ (o más concretamente la distribución de $Z$ ). Considere el siguiente ejemplo, $Z \sim B(p)$ , $X \sim B(0.5)$ , $Y=X$ satisfaciendo $X,Y \perp \!\!\! \perp Z$ . Sea $F=\max(Y, Z)$ sea una variable de la salida de una función determinista de $Y, Z$ . $X, F$ tienen la siguiente distribución conjunta,

1. $P(X=0,F=0) = (1-p)/2$ .
2. $P(X=0,F=1) = p/2$ .
3. $P(X=1,F=0) = 0$ .
4. $P(X=1,F=1) = 1/2$ .

$I(X;F) = \log(2) + \frac{p}{2}\log(p) - \frac{1+p}{2}\log(1+p)$ que depende de $p$ .