La obtención de información, el intercambio de información y las medidas relacionadas con el

Question

Andrew Más define la ganancia de información como:

$IG(Y|X) = H(Y) - H(Y|X)$

donde $H(Y|X)$ es el condicional de la entropía. Sin embargo, Wikipedia llamadas por encima de la cantidad de información mutua.

Wikipedia por otro lado define la ganancia de información como el de Kullback–Leibler divergencia (aka información divergencia o relativa de la entropía) entre dos variables aleatorias:

$D_{KL}(P||Q) = H(P,Q) - H(P)$

donde $H(P,Q)$ se define como la cruz de la entropía.

Estas dos definiciones parecen ser incompatibles el uno con el otro.

También he visto otros autores hablando de dos conceptos relacionados, a saber, el diferencial de la entropía y la información relativa ganancia.

¿Cuál es la definición precisa o la relación entre estas cantidades? Hay un buen libro de texto que cubre todos ellos?

• La obtención de información
• La información mutua
• Cruz de la entropía
• La entropía condicional
• El diferencial de la entropía
• La obtención de información relativa

Answer 1

Creo que llamar a la Kullback-Leibler divergencia "obtención de información" no es estándar.

La primera definición es estándar.

EDIT: sin Embargo, $H(Y)−H(Y|X)$ también puede ser llamado de la información mutua.

Tenga en cuenta que no creo que usted encontrará en cualquier disciplina científica que realmente tiene un estandarizada, precisa y coherente en el esquema de nomenclatura. Por lo que siempre tiene que mirar a las fórmulas, porque por lo general te dan una mejor idea.

Libros de texto: ver "Buena introducción a los diferentes tipos de entropía".

También: Cosma Shalizi: Métodos y Técnicas de Sistemas Complejos de la Ciencia: Una Introducción, capítulo 1 (páginas 33--114) en Thomas S. Deisboeck y J. Yasha Kresh (eds.), Los Sistemas complejos en Ciencias en Biomedicina http://arxiv.org/abs/nlin.AO/0307015

Robert M. Gray: la Entropía y la Teoría de la Información http://ee.stanford.edu/~gray/it.html

David MacKay: la Teoría de la Información, la Inferencia, y Algoritmos de Aprendizaje http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

también, "¿Qué es la "entropía de la información y de la ganancia"?"