Maximización de la entropía para la suma de variables aleatorias

Question

Configuración del problema

Dejemos que $X_1, X_2,\cdots,X_m$ ser idénticos y marginalmente $Bern(p=0.5)$ variables aleatorias. No hay ninguna restricción en la distribución conjunta de $X_1, X_2,\cdots,X_m$ .

Observación

La entropía $H(X_1, X_2,\cdots,X_m)$ se maximiza (sobre todas las posibles distribuciones conjuntas) cuando $X_i's$ son independientes. Esto se puede demostrar expandiendo el término de entropía mediante regla de la cadena

Pregunta

Es la entropía de su suma, $S=X_1+X_2+\cdots+X_m$ también se maximiza cuando son independientes?

Answer 1

No . La entropía de $S = X_1 + X_2+\cdots+X_m$ se maximiza cuando $S$ es una distribución uniforme en $[m].$

Ejemplo para $m = 2$

$$ P(X_1 = 0, X_2 = 0 ) = 1/3 \\ P(X_1 = 1, X_2 = 0 ) = 1/6 \\ P(X_1 = 0, X_2 = 1 ) = 1/6 \\ P(X_1 = 1, X_2 = 1 ) = 1/3 $$ La anterior distribución conjunta en $X_1$ , $X_2$ tiene la mayor entropía para $H(X_1 +X_2)$ . Además, por simetría, $X_1$ , $X_2$ se distribuyen indistintamente en la distribución anterior.