Calculando la capacidad de un canal con distribución de mezcla.

Question

Dado un canal $Y=X+Z$ y una variable aleatoria $Z$ tal que $$ Z=\begin{cases} 0, &con probabilidad \frac{1}{10}\\ Z^* &con probabilidad \frac{9}{10} \end{cases} $$

tal que $Z^* \sim \mathcal{N}(0,\sigma^2)$

¿Cuál es la capacidad del canal con la restricción de potencia $E[X^2] \le P$?

Dado que $Z$ tiene la posibilidad de enviar el mensaje $X$ sin ruido, la capacidad es infinita. Pero tengo dificultades para calcularla explícitamente.

Esto es lo que he intentado:

Tenemos,

$$ f_z(z) = \frac{1}{10}\delta(z) + \frac{9}{10}f_{z^*}(z) $$

Suponiendo que $Z$ es independiente de $X$, la información mutua es

$$ I(X;Y) = h(Y) - h(Y|X)\\ =h(Y) - h(Z) $$

Dado que una distribución gaussiana maximiza la entropía para una varianza dada,

$$ E[Z^2] = \int z^2 f_z(z) dz = \frac{9}{10}E[Z^{*2}] = \frac{9}{10} \sigma^2\\ E[Y^2] = E[X^2] + E[Z^2]\\ \le P+\frac{9}{10}\sigma^2 $$

Luego,

$$ I(X;Y) \le \frac{1}{2}\text{log}\bigg(1+\frac{P}{\frac{9}{10}\sigma^2}\bigg) $$

Creo que puede haber hecho algo mal, ya que debería ser que $C=\infty$.

Answer 1

Estás asumiendo que $Z$ es gaussiano en la derivación pero $Z$ es una distribución mixta. Lo digo porque en tu límite superior final de capacidad estás asumiendo que $h(Z)=\log(\frac{9 \sigma^2}{10})$ lo cual no es cierto.
Para calcular exactamente: Sea $U$ una variable aleatoria que es $0$ si $Z=0$ o sino $1$. \begin{equation} = C = I(X;Y) = h(Y)-h(Z) \\ = h(Y|U=0) 1/10 + h(Y|U=1) 9/10 + H(U)-H(U|Y) - ((h(Z|U=0) 1/10 + h(Z|U=1) 9/10)+H(U))\\ = (h(Y|U=0)-h(Z|U=0)) 1/10 + H(U)-H(U|Y) + (h(Y|U=1)-h(Z|U=1)) 9/10 -H(U)\\ \geq (h(X)-h(Z|U=0)) 1/10 + \log \left(1+\frac{P}{\sigma^2} \right) 9/10-H(U|Y)\\ \end{equation} Aquí $h(Z|U=0) = -\infty$ (defínalo así). Por lo tanto obtienes la respuesta.
Editado: Utilizamos $h(Y) = h(Y|U) + H(U) - H(U|Y)$, $h(Z,U) = H(U)+h(Z|U) = h(Z) + H(U|Z) = h(Z)$