Valores comparables de información mutua e información mutua condicional

Question

Supongamos que tenemos tres continuas o discretas variables, X, Y y Z, para lo cual se desea calcular la Información Mutua (MI) y Condicionales Información Mutua (CMI). Las fórmulas para el cálculo de este a través de la Entropía de Shannon (H) de las distribuciones para ellos sería:

MI(X;Y) = H(X)+H(Y)-H(X,Y)
MI(X;Z) = H(X)+H(Z)-H(X,Z)
CMI(X;Y|Z) = H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)

Mi pregunta es si son cantidades directamente comparables? En una operación como:

CMI(X;Y|Z)-MI(X;Y)+MI(X;Z)

Si ellos no son directamente comparables, este puede ser convertida en la siguiente fórmula?

CMI(X;Y|Z)-MI(X;Y)+MI(X;Z) = H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)-H(X)-H(Y)+H(X,Y)+H(X)+H(Z)-H(X,Z)

Que simplifica en:

CMI(X;Y|Z)-MI(X;Y)+MI(X;Z) = H(X,Y)+H(Y,Z)-H(X,Y,Z)-H(Y)

Lo que nos lleva a la siguiente conclusión:

CMI(X;Y|Z)-MI(X;Y)+MI(X;Z) = CMI(X;Z|Y)

Gracias por cualquier consejo!

Answer 1

Estoy suponiendo que por "comparable" significa algo así como "le permite añadir y restar ellos" o "estos tienen las mismas unidades."

Si es así, la respuesta es sí, siempre y cuando usted utilice el mismo logaritmo en base al calcular los distintos MI/CMI valores. (Las unidades de la entropía son generalmente llamados "bits" o "nats", o menos comúnmente "shannons" o "hartleys," dependiendo de la base del logaritmo--respectivamente 2, $e$, 2, y 10).

Muchas identidades similares se ha comprobado o asignado como los ejercicios, por ejemplo, en MacKay, la Teoría de la Información, la Inferencia, y Algoritmos de Aprendizaje (Capítulo 8), que recomiendo encarecidamente si desea más intuición de cómo los distintos entropías se comportan.

La cuestión de si los estimadores de estas cantidades son comparables, es un juego más difícil, como la estimación de entropías y entropías condicionales puede ser bastante complicado. Sólo hay un par de advertencias a esta en la estimación de configuración:

• Esta identidad tiene para la verdadera información mutua/entropía, pero no creo que necesariamente tiene para los estimadores (depende de cómo esté la estimación).

  Si estás en la estimación de cada MI y la CMI como la suma de un montón de individuo entropías, entonces la identidad se mantenga ya que las ecuaciones que ir a través de la misma forma que para la estimación de la CMI como la verdadera CMI. Pero si vas directamente a la estimación de la (C)MI alguna otra manera, entonces usted necesita para analizar su específica estimador.

• Estimadores de los diferentes mutuo informaciones/entropías no pueden ser independientes, así que cuidado con lo suposiciones sobre la variación de la estructura de sus sumas y diferencias.

• Además, todos los estimadores de la mutua de la información y la entropía son parciales, por lo que necesita para estudiar el sesgo de las propiedades de sus sumas y diferencias.