Tenemos $n$ elementos en $A$ que pueden agruparse en $K$ grupos, cada grupo con $q_k$ ( $k=1\cdots K$ ) elementos iguales ( $\sum_{k=1}^K q_k = n$ ).
Entonces la probabilidad de que dos elementos elegidos al azar (con reemplazamiento) pertenezcan al mismo grupo es
$$p= \sum_{k=1}^K \left(\frac{q_k}{n}\right)^2 = \sum_{k=1}^K r_k^2 $$ donde $r_k=q_k/n$
Por lo tanto $\log p = \log \sum_{k=1}^K r_k^2 $ y utilizando Desigualdad de Jensen , $E \log (\cdot) \le \log E (\cdot)$ obtenemos
$$\log p \ge \sum_{k=1}^K r_k \log r_k = -H $$
O
$$ 2^H \ge \frac{1}{p}$$
La igualdad se produce cuando $r_k$ es constante sobre su soporte, es decir, cuando $q_k$ es cero o una constante. Es decir, si el multiconjunto está formado por grupos de igual tamaño.
Actualización: respecto a algún límite superior de la diferencia, parece más difícil. Un vistazo a este parece conducir a:
$$0\le \Delta=\log \frac{1}{p}-H \le \max_{0\le t \le 1}_{K=1 \cdots n} \psi(n,K,t)$$ con $$\psi(n,K,t) = \log \left(\frac{t}{n} + (1-t) \frac{n-K+1}{n}\right) - (1-t) \log \frac{n-K+1}{n} -t \log \frac{1}{n} $$ pero esto no se ve muy bien.
