La entropía de Shannon de un bit $(p,1-p)$ es $$H(p)=-p\log(p)-(1-p)\log(1-p)$$ . Se trata de una función de buen comportamiento que asigna de forma única cada estado (hasta la permutación de sus elementos, es decir $(p,1-p)\rightarrow (1-p,p)$ ) una entropía. ¿Por qué entonces no puedo encontrar una función inversa que me diga $p$ cuando conozco el $H(p)$ ? Muchas gracias.
Respuesta
¿Demasiados anuncios?
Mike Earnest
Puntos
4610
Por un lado, $H(p)$ no es invertible, ya que $H(p)=H(1-p)$ . Ambos $H(0)=H(1)=0$ Así que lo que definiría $H^{-1}(0)$ ¿a qué se debe?
En teoría, esto puede resolverse eligiendo una única rama de $H^{-1}$ tienes dos opciones para cada una de ellas $H^{-1}$ Así que elige el mayor, por ejemplo. Pero encontrar la fórmula sigue siendo difícil. Es probable que se trate de un ecuación trascendental , una cuyas soluciones no pueden ser expresadas en términos de funciones elementales. Esto ocurre a menudo, por ejemplo, $\tan x=x$ , $xe^x=1$ etc. Sólo porque una función sea fácil de calcular, no hay razón para creer que su inversa deba ser igual de fácil.
