En el contexto de la teoría de la información, estoy tratando de maximizar la siguiente función (información mutua de la entrada y salida del canal Z) con respecto a $p$ para derivar la capacidad del canal Z: $$I(X;Y)=\mathit{H}(ap)-\mathit{H}(1-a)p$$ donde $\mathit{H}(x)=-xlog_2(x)-(1-x)log_2(1-x)$, $0 No puedo resolver esto. Eventualmente, estoy tratando de probar que el valor de $p$ que maximiza la función es: $$p=\frac{1}{a(1+2^{\mathit{H}(1-a)/a})}$$ Más información sobre el canal Z se puede encontrar aquí, pero estoy utilizando una notación diferente en relación a las probabilidades.
Respuesta
¿Demasiados anuncios?
Es más fácil separar el proceso usando la regla de la cadena en lugar de usar la ecuación completa para I: $$I=H(ap)-H(1-a)p$$ $$\frac{dI}{dp}=\frac{dH(ap)}{d(ap)}\frac{d(ap)}{dp}-H(1-a)=\frac{dH(ap)}{d(ap)}a-H(1-a)$$ Ahora necesitamos encontrar $H'$ $$\frac{dH}{dx}=-\log_2(x)-x\frac{1}{x ln2}+\log_2(1-x)+(1-x)\frac{1}{(1-x)ln2}=\frac{-\ln(x)-1+\ln(1-x)+1}{ln2}=\log_2(1-x)-\log_2(x)$$ Sustituyendo en la ecuación anterior con $x=ap$: $$\frac{dI}{dp}=a(\log_2(1-ap)-\log_2(ap))-H(1-a)$$ Estableciendo $dI/dp=0$ $$\frac{H(1-a)}{a}=\log_2(1-ap)-\log_2(ap)$$ $$2^{\frac{H(1-a)}{a}}=2^{\log_2(1-ap)-\log_2(ap)}=\frac{2^{\log_2(1-ap)}}{2^{\log_2(ap)}}=\frac{1-ap}{ap}$$ $$ap2^{\frac{H(1-a)}{a}}+ap=1$$ $$ap(2^{\frac{H(1-a)}{a}}+1)=1$$ $$p=\frac{1}{a(2^{\frac{H(1-a)}{a}}+1)}$$
