Derivación de la ecuación de autoinformación

Question

Estoy tratando de entender cómo la fórmula I(x) = -log(p(x)) para la autoinformación se derivó.

Por lo que he leído, se impusieron 2 restricciones a las propiedades que nos gustaría que cumpliera la autoinformación. Estas restricciones se enumeran a continuación:

I(x) < I(y) if p(x) > p(y)
I(x and y) = I(x) + I(y) if P(x and y) = p(x).p(y)

Siguiendo esto descubrimos de alguna manera que I(x) = -log(p(x)) cumple los requisitos anteriores.

Mis preguntas exactas son:

• ¿Por qué definimos los requisitos de la autoinformación como arriba?
• ¿Cómo llegamos a I(x) = -log(p(x)) ?
• ¿Cómo sabemos que I(x) = log(p(x)) ¿conforme a los requisitos anteriores?

Referencia: http://people.seas.harvard.edu/~jones/cscie129/nu_lectures/lecture2/info%20theory/Info_Theory_1.html#def

Answer 1

¿Por qué definimos los requisitos de la autoinformación como arriba?

Sólo porque parecen razonables, encajan con el concepto que estamos tratando de formalizar. La primera dice que un evento con baja probabilidad nos da una alta información. La segunda dice que la información de un par de sucesos independientes es la suma de las informaciones individuales.

Enunciemos nuestros "axiomas"

• La información del evento debe depender únicamente de su probabilidad: $I(X)=g(p(X))$
• $g()$ debe ser no negativo, continuo y decreciente: una menor probabilidad significa una mayor información
• En concreto $g(0)=+\infty$ y $g(1)=0$ Evento muy improbable: tiene una información muy alta; evento (casi) seguro tiene una información (casi) nula.
• Si los acontecimientos $X,Y$ son independientes, entonces $I(X,Y)=I(X)+I(Y)$

Es fácil ver que $g(p)= - \log_b (p)$ (base arbitraria) satisface esos requisitos. Demostrar la unicidad es un poco más difícil. Esquema: Supongamos que tenemos $n$ eventos con probabilidad $p$ entonces lo anterior implica (por inducción) $g(p^n)=n g(p)$ . Al considerar que $g(p)=g([p^{1/m}]^m)=m g(p^{1/m})$ deducimos que $g(p^a)=a \, g(a)$ también es válida para cualquier $a$ - y, por continuidad para cualquier real $a$ . Esto conduce a la solución única (hasta la elección de la base) $g(p)= - \log_b (p)$