Estoy tratando de resolver un ejercicio sobre la entropía de Shannon. He intentado algunas cosas pero no puedo resolverlo, y no he podido encontrar información en internet.
Veamos. Tenemos la entropía de Shannon, y un sistema definido por una distribución de probabilidad $p(n)$ :
$$S = \sum _{n\in N} p(n) \log (p(n)) $$
Donde $N$ puede ser un conjunto finito de probabilidades o uno infinito, y $n$ es un número entero.
Ahora vamos a definir la función generadora de información (no estoy seguro de que este sea su nombre en inglés):
$$G(u) = \sum _{n \in N} p^u(n)$$
La pregunta es, ¿cómo puedo escribir $S$ en términos de $G(u)$ ? También sería genial tener una interpretación física de esta función (pero el ejercicio no lo pide)
Mis intentos de conseguir la solución: Intenté escribir $G(1)$ e insertarlo en la expresión de $S$ pero no puedo deshacerme del logaritmo. También he intentado hacer una expansión de Taylor del logaritmo, pero no puedo escribir la serie alrededor de $x=0$ porque el logaritmo no es analítico en este punto. Alrededor de $x=1$ ,
$$\log(x) = - \sum _{k=1} ^{+\infty} \dfrac{(-1)^k (x-1)^k}{k}$$
Pero parece que no puedo sustituir la expresión de $G(u)$ dentro de este usando $x\equiv p(n)$ .
Cualquier consejo o sugerencia es bien recibido. Como he dicho, no he encontrado ninguna información sobre la función $G(u)$ en Internet.
