Encuentre $H(Y,Z)$ y $I(X,Y)$ dado $p(x,y,z)$

Question

Dada la función de distribución de probabilidad conjunta: $$p(x, y, z)=p(x)p(y|x)p(z|x)$$ con:

$ X: p(X=0)= p(X=1)= 1/4, \ p(X=2)=1/2 ,$ $ Y: p(Y=0| X=0)= p(Y=1| X=1)= 1, \ p(Y=0| X=2) = p(Y=1|X=2)=1/2 ,$ $ Z: p(Z=0|X=0)= p(Z=0|X=1)=p(Z=1|X=2)=1:$

• Pregunta 1:

¿Es correcto que $H(Z|Y)=H(YZ)=0$ ? Lo pregunto porque quiero encontrar $H(Y,Z)$ utilizando: $$ H(Y,Z)=H(Y)+H(Z|Y)=H(Z)+H(YZ). $$

• Pregunta 2: ¿Es correcto que pueda encontrar $I(X,Y)$ de esta manera?: \begin{split} I(X,Y)&=(Y)-H(YX) \\ &=1-\sum_{x\in X }\sum_{y\in Y}p(Y=y|X=x)\log_2(p(Y=y|X=x))\\ &=1-(1 \log_2(1)+0+1/2 \log_2(1/2)+0+1 log_2(1)+ 1/2 \log_2(1/2))\\ &=2.\end{split}

¡Muchas gracias!

Answer 1

Tenga en cuenta que si $H(Y|Z)=0$ entonces $Y$ debe ser una función determinista de $Z$ que no es el caso aquí, obviamente. Pero sí se puede demostrar que $Z$ y $Y$ son independientes y por lo tanto $H(Z|Y)=H(Z)$ y $H(Y|Z)=H(Y)$ . Para ver la Independencia, verificamos directamente. Obsérvese que $p(Y=y)$ se da $$ p(Y=0)=\frac 14+\frac 12\frac 12=\frac 12\implies p(Y=1)= \frac 12\\ p(Z=0)=\frac 14+\frac 14=\frac 12\implies p(Z=1)=\frac 12. $$ Pero como $p(X=0|Z=0)=\frac{1\times p(X=0)}{p(Z=0)}=\frac 12$ , $p(X=1|Z=0)=\frac{1\times p(X=1)}{p(Z=0)}=\frac 12$ , $p(X=2|Z=1)=1$ : $$ p(Y=0|Z=0)=\sum_i p(X=i|Z=0)p(Y=0|X=i)=\frac 12\times 1+\frac 12\times 0=\frac 12\\ p(Y=1|Z=0)=\sum_i p(X=i|Z=0)p(Y=1|X=i)=\frac 12\times 0+\frac 12\times 1=\frac 12\\ p(Y=0|Z=1)=\sum_i p(X=i|Z=1)p(Y=0|X=i)=1\times \frac 12=\frac 12, p(Y=1|Z=1)=\sum_i p(X=i|Z=1)p(Y=1|X=i)=1\times \frac 12=\frac 12. $$ Así que $Y$ y $Z$ son independientes.

Pregunta 2: observe que $$ H(Y|X)=-\sum_{x\in X }\sum_{y\in Y}p(Y=y,X=x)\log_2(p(Y=y|X=x)) $$ Así que lo que escribes ahí está mal tanto la expresión como su signo. Ver que (¿por qué?): $$ H(Y|X)=p(X=2)H(Y|X=2)=\frac 12\log_2 2=\frac 12. $$ Por lo tanto: $I(X;Y)=1-\frac 12=\frac 12$ .