24 votos

¿Cuáles son las diferencias y la relación entre la entropía de Shannon y la información de Fisher?

Cuando me adentré por primera vez en la teoría de la información, la información se medía o se basaba en la entropía de Shannon o, en otras palabras, la mayoría de los libros que leí antes hablaban de la entropía de Shannon. Hoy alguien me dijo que hay otra información llamada información de Fisher. Me confundí mucho. Intenté buscar en Google. Aquí están los enlaces, información de Fisher: https://es.wikipedia.org/wiki/Informaci%C3%B3n_de_Fisher y la entropía de Shannon se encuentra aquí https://es.wikipedia.org/wiki/Entrop%C3%ADa_(teor%C3%ADa_de_la_informaci%C3%B3n).

¿Cuáles son las diferencias y la relación entre la entropía de Shannon y la información de Fisher? ¿Por qué existen dos tipos de información allí?

Actualmente, mi idea es que parece que la información de Fisher es una perspectiva estadística mientras que la entropía de Shannon tiene una perspectiva probabilística.

Cualquier comentario o respuesta es bienvenido. Gracias.

15voto

Bey Puntos 1928

La información de Fisher está relacionada con la variabilidad asintótica de un estimador de máxima verosimilitud. La idea es que una información de Fisher más alta está asociada con un menor error de estimación.

La información de Shannon es totalmente diferente y se refiere al contenido del mensaje o distribución, no a su variabilidad. Se supone que las distribuciones de entropía más alta transmiten más información porque deben ser transmitidas con más bits.

Sin embargo, hay una relación entre la Información Fisher y la Entropía Relativa/Divergencia KL, como se discute en Wikipedia.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X