Un límite inferior ajustado para la entropía del XOR de dos variables aleatorias

Question

Dejemos que $U$ sea la variable aleatoria uniforme sobre $n$ -cadenas binarias de bits, y que $X$ sea otra variable aleatoria que dependa de $U$ y se extiende sobre $n$ -cadenas binarias de bits.

Suponiendo que $I(X;U) \le \epsilon$ ¿podemos encontrar un límite inferior ajustado para $H(X \oplus U)$ ? Por ejemplo, ¿podemos demostrar algo como $H(X \oplus U) \ge n - \epsilon$ ?

P.D.: La información mutua y la entropía se denotan por $I$ y $H$ y $\oplus$ denota el operador XOR.

Answer 1

Caso $\epsilon = 0$ puede demostrarse de forma que se revele para el caso general $\epsilon >0$ .

Lema. (La aplicación de una función inyectiva aleatoria independiente a una variable aleatoria no disminuye la entropía) Si $X, Y$ son variables aleatorias discretas independientes y $f_y$ es una función inyectiva en el rango de $X$ para cada $y$ en el rango de $Y$ entonces $H(f_Y(X)) \ge H(X)$ .

Prueba: $H(f_Y(X)) \ge H(f_Y(X)|Y) = H(X|Y) = H(X)$ .