¿Información de la ganancia y el mutuo: igual o diferente?

Question

Estoy muy confundido acerca de la diferencia entre la obtención de Información y la información mutua. para hacer aún más confuso es que puedo encontrar ambas fuentes se define como idénticos y otros que explican sus diferencias:

La obtención de información y de intercambio de información son las mismas:

• Función de Selección: la obtención de Información VS Mutuo de Información
• Una introducción a la recuperación de la información: "Mostrar que el intercambio de información y la obtención de información son equivalentes", página 285, ejercicio 13.13.
• Por lo tanto es conocida como la ganancia de información, o, más comúnmente, la información mutua entre X e y" --> CS769 la Primavera de 2010 Avanzado de Procesamiento de Lenguaje Natural, "la Teoría de la Información", ponente: Xiaojin Zhu
• "La obtención de información es también llamada espera mutuo información" --> "Métodos de Selección de características para la Clasificación de textos", Nicolette Nicolosi, http://www.cs.rit.edu/~nan2563/feature_selection.pdf

Son diferentes:

• http://math.stackexchange.com/questions/833713/equality-of-information-gain-and-mutual-information
• yang --> "Un estudio comparativo de la Selección de características en la Categorización de Texto" --> en que son tratados por separado y la información mutua es incluso descarta porque funciona muy mal en comparación con IG
• citando yang --> "Un Amplio Estudio Empírico de Función de Selección de Métricas para la Clasificación de textos" -- http://www.jmlr.org/papers/volume3/forman03a/forman03a_full.pdf

poco de confusión

• http://www.researchgate.net/post/What_is_the_difference_between_mutual_information_and_information_gain

Todavía podría encontrar otras fuentes de defender la tesis contraria, pero creo que estos son suficientes. ¿Alguien puede aclararme acerca de la verdadera diferencia / igualdad de estas dos medidas?

Answer 1

"Obtención de información", parece ser una sobrecarga del nombre que corresponde a múltiples fórmulas. La no-ambigua nombres parecen ser las siguientes:

• La información mutua vinculación de dos variables aleatorias X e y:

$$ MI(X,Y) = H(X) + H(Y) - H(X,Y) = H(Y) - H(Y|X) = H(X) - H(X|Y) $$

donde $H$ es la entropía de la variable aleatoria

• el de Kullback-Leibler (KL) divergencia, que mide la diferencia entre dos leyes de la probabilidad o de funciones de densidad de probabilidad:

$$ KL(p,q) = \int p(x) \log \frac{p}{q} $$

Estas dos cantidades están relacionadas. Después de sencillas manipulaciones de $ MI = H(Y) - H(Y|X)$, podemos encontrar:

$$ MI(X,Y) = \int p(x) KL(P(Y=y|X=x) | P(Y=y)) dx $$