Deje $A$ tiene el tamaño de $m\times n$ (más general), $y=A x$, $y=(y_1, y_2, \cdots y_m)$. Deje $s=\sum_{i=1}^n x_i$
A continuación, $$H(y)= H(y \mid s) + H(s) - H(s \mid y) \tag{1}$$
y podemos obligado:
$$ H(y \mid s) \le H(y) \le H(y \mid s) + H(s) \tag{2} $$
Para calcular, $H(y \mid s)$, ten en cuenta que mientras que $y=(y_1, y_2, \cdots y_m)$ no son independientes, son independientes si acondicionado en $s$. Por lo tanto
$$H(y \mid s) = m \, H(y_1 \mid s)$$
Además, $y_1 |s \sim B(s,1/2)$ (Binomial), y $s$ es también Binomio $B(n,1/2)$ por lo tanto
$$H(y \mid s) = m \sum_{s=0}^n \frac{1}{2^n}{n \choose s} h_B(s) \tag{3}$$
$$H(s) = h_B(n) \tag{4}$$
donde $$h_B(t)= - \frac{1}{2^t} \sum_{k=0}^t {t\choose k} \log\left(\frac{1}{2^t}{t \choose k}\right) = t - \frac{1}{2^t} \sum_{k=0}^t {t \choose k} \log\left({t \choose k}\right) \tag{5}$$ is the entropy of a Binomial of size $t$ and $p=1/2$.
(todos los registros en la base de las $2$ aquí).
Expresiones $(3)$ $(4)$, junto con $(2)$, proporcionar exacta de los límites. Podemos obtener una aproximación mediante la toma de la central término en $(3)$ y el uso de la asintótica $h_B(t) \approx \frac{1}{2} \log(t \, \pi e /2)$. A continuación, obtener
$$H(y|s) \approx \frac{m}{2} \log(n \pi e /4) \tag{6}$$
$$H(s) \approx \frac{1}{2} \log(n \pi e /2) \tag{7}$$
Esto sugiere que, cuando $m=n$, $H(y)$ crece como $\frac{n}{2} \log(n)$
El graps muestra de los límites y la aproximación a $(6)$ para el límite inferior.
![enter image description here]()
