Acabo de ver una bonita aplicación en una conferencia 1 que encaja perfectamente con el caso de variables aleatorias no independientes que mencionaste - dejemos que $S = \{(x_1, \ldots, x_n) \in \{0, 1\}^n | \sum_i x_i \leq k\}$ . Si $k \leq \frac{n}{2}$ entonces $|S| \leq 2^{n \cdot H_b\left(\frac{k}{n}\right)}$ donde $H_b(p)$ es la función de entropía binaria.
Esto se demuestra dejando que $(X_1, \ldots, X_n)$ se distribuyan uniformemente en $S$ . Entonces $H(X_1, \ldots, X_n) = \log |S|$ . Al darse cuenta de que el $X_i$ están idénticamente distribuidos: $$H(X_1, \ldots, X_n) \leq H(X_1) + \ldots + H(X_n) = n \cdot H(X_1)$$
$X_1$ toma valores en $\{0, 1\}$ por lo que podríamos calcular $H(X_1) = H_b(\mathbb{E}[X_1])$ y terminar esto si podemos atar $\mathbb{E}[X_1]$ . Ahora viene el uso de la linealidad de la expectativa: tenemos $$n \cdot \mathbb{E}[X_1] = \mathbb{E}[X_1] + \ldots + \mathbb{E}[X_n] = \mathbb{E}[X_1 + \ldots + X_n] \leq k$$ así que $\mathbb{E}[X_1] \leq \frac{k}{n}$ . En $\frac{k}{n} \leq \frac{1}{2}$ y $H_b(p)$ aumenta en $[0, \frac{1}{2}]$ tenemos $H(X_1) \leq H_b\left(\frac{k}{n}\right)$ terminando la prueba.
1: De https://ttic.uchicago.edu/~madhurt/cursos/infoteoría2017/l2.pdf