Estoy leyendo el libro "Elementos de la Teoría de la Información" por la Cubierta y Thomas y estoy teniendo problemas para entender conceptualmente los diferentes ideas.
Por ejemplo, yo sé que $H(X)$ puede ser interpretada como el promedio de duración de la codificación. Pero, ¿qué $H(Y|X)$ intuitivamente significa?
Y ¿cuál es la información mutua? He leído cosas como "es la reducción en la incertidumbre de una variable aleatoria debido al conocimiento de los otros". Esto no significa nada para mí, como no me ayuda a explicar en palabras qué $I(X;Y) = H(Y) - H(Y|X)$. O explicar la regla de la cadena para el intercambio de información.
También he encontrado el procesamiento de Datos de la desigualdad se explica como algo que puede ser utilizado para mostrar que no hay una astuta manipulación de los datos puede mejorar las inferencias que se pueden hacer a partir de los datos. Si $X\to Y\to Z$$I(X;Y)\ge I(X;Z)$. Si tuviera que explicar este resultado a alguien en palabras y explicar por qué debe ser intuitivamente cierto que yo tendría absolutamente ninguna idea de qué decir. Incluso explicando cómo "procesamiento de datos" está relacionado con una de las cadenas de markov y la información mutua habría desconcertado a mí.
Me puedo imaginar la explicación de un resultado en topología algebraica a alguien ya que por lo general hay una intuitiva imagen geométrica que puede ser dibujado. Pero con la teoría de la información, si yo tuviera que explicar un resultado a alguien en nivel comparable a una imagen que yo no sería capaz.
Cuando hago problemas abstractos manipulaciones simbólicas y de ensayo y error. Estoy en busca de una explicación (no estas bla da información acerca de bla explicaciones) de los diferentes términos que hará que las soluciones a los problemas que aparecen en una manera significativa.
Ahora mismo me siento como alguien tratando de hacer topología algebraica puramente simbólico, sin pensar en imágenes geométricas.
Hay un libro que va a ayudar a mi maldición?
