Buena introducción en diferentes tipos de entropía

Question

Estoy buscando un libro o un recurso en línea que explica diferentes tipos de entropía como muestra entropía y entropía de Shannon y sus ventajas y desventajas. ¿Alguien puede señalarme en la dirección correcta?

Answer 1

Cubierta y el libro de Thomas elementos de teoría de la información es una buena fuente de entropía y sus aplicaciones, aunque no sé es exactamente lo que tienes en mente se dirige.

Answer 2

Estas notas de la Conferencia sobre la teoría de la información por O. Johnson contienen una buena introducción a diferentes tipos de entropía.

Answer 3

Si el interesado en la Estadística matemática alrededor de entropía, se puede consultar este libro

http://www.Renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

está disponible gratuitamente!

Answer 4

Grünwald y Dawid del papel de la teoría de juegos, la entropía máxima, mínima discrepancia y robusto de la teoría de la decisión Bayesiana discutir generalización de la noción tradicional de la entropía. Dada una pérdida, asociado de la entropía de la función es la asignación de una distribución a la mínima alcanzable pérdida esperada para su distribución. La costumbre de la entropía función es la generalización de la entropía asociada con el registro de la pérdida. Otras opciones de las pérdidas de rendimiento diferentes entropía como la entropía de Rényi.

Answer 5

La entropía es una sola (como concepto), la cantidad de información necesaria para describir un sistema; hay solamente muchos de sus generalizaciones. Entropía de la muestra es solamente algunos descriptor de entropía-como utilizado en el análisis de ritmo cardíaco.