valor máximo de $H(X_1+X_2)$

Question

Dejemos que $X_1$ & $X_2$ sean dos v.r. binarios independientes, con valores en {0,1}; sea $Y \triangleq X_1+X_2$ sea su suma, es decir, una v.r. ternaria que toma valores en {0,1,2}. ¿Cómo demostramos que el valor máximo de $H(Y)$ es 1,5 (bits)? Tenga en cuenta que con $X_1$ & $X_2$ siendo i.i.d. Bern( $\frac{1}{2}$ ), una simple caculación muestra que la entropía de la suma es de 1,5 bits. Sin embargo, tengo dificultades para demostrar que éste es realmente su valor máximo, y agradecería alguna ayuda. Muchas gracias.

Answer 1

Un enfoque es formularlo como un problema de análisis, como también sugirió Max más arriba. Algunos trucos y observaciones simplificarán la solución.

Dejemos que $X_1 \sim Bern(a), X_2 \sim Bern(b),$ y $Y \triangleq X_1+X_2,$ donde $a,b \in [0,1].$ Definición de $f(a,b) \triangleq H(Y),$ se deduce que $$f(a,b) = -(1-a)(1-b)log(1-a)(1-b) - ab\ log(ab) -(a+b-2ab)log(a+b-2ab)$$

En primer lugar, $f$ es una función continua en $S \triangleq [0,1]\times[0,1]$ que es un conjunto compacto. Así que un máximo de $f$ debe existir en $S.$

En segundo lugar, tenga en cuenta que si $a = 0$ o $1$ entonces $f(a,b)=H(Y)=H(X_2)\leq 1$ poco. Del mismo modo, si $b=0$ o $1$ entonces $f(a,b)\leq 1$ poco. Así que un máximo de $f$ no se produce en el límite de $S$ porque $f(0.5,0.5)=1.5$ bits $>1$ poco. Debe ocurrir en $int\ S,$ es decir $(0,1)\times(0,1)$ .

Para simplificar el análisis, vamos a utilizar el logaritmo natural a partir de este punto. Dado que $f \in C'$ en $int\ S$ con $$f_a(a,b)=(1−b)log(1−a)(1−b)−(1−2b)log(a+b−2ab)−b\ log(ab),$$ $$f_b(a,b)=(1−a)log(1−a)(1−b)−(1−2a)log(a+b−2ab)−a\ log(ab).$$ De ello se deduce que un máximo debe satisfacer $\triangledown f = [0,0].$ Ahora bien, tenga en cuenta que $$f_a(a,b)=0 \Leftrightarrow (1-b)log\frac{(1-a)(1-b)}{a+b-2ab}=b\ log\frac{ab}{a+b-2ab}$$ $$f_b(a,b)=0 \Leftrightarrow (1-a)log\frac{(1-a)(1-b)}{a+b-2ab}=a\ log\frac{ab}{a+b-2ab}$$ Para resolver este conjunto de ecuaciones, es útil observar que los logaritmos anteriores están bien definidos en $int\ S$ . Además, ambos no pueden ser cero, porque $X_1$ & $X_2$ son independientes. En consecuencia, ninguno de ellos puede ser cero; de lo contrario, las igualdades anteriores no pueden cumplirse. Esta observación simplifica mucho la solución, porque implica que $$\frac{a}{1-a}=\frac{b}{1-b},$$ que a su vez implica $a=b.$

Sustituyendo $a=b$ en $f_a(a,b)=0$ con alguna simplificación, tenemos $$g(a)\triangleq log\frac{1-a}{2a}+2a\ log2=0.$$ Tenga en cuenta que $a=0.5$ es claramente una solución. Para demostrar que ésta es la única solución, basta con mostrar que $g(a)$ es estrictamente decreciente en $(0,1).$ Esto se puede ver fácilmente diferenciando $g(a)$ y observando $$g'(a)=2\ log2-\frac{1}{a(1-a)}< 0,$$ para todos $a \in (0,1).$ Por lo tanto, concluimos $a=b=0.5$ es la única solución de $\triangledown f=[0,0]$ en $int\ S$ . Así que $f(0.5,0.5) = 1.5$ (bits) es efectivamente el máximo. Esto completa la prueba.