Nada es incompatible en el artículo de Shannon, a pesar de que mucho se ha limpiado y simplificado* - C&T es, quizás, uno de los mejores en esto. Usted tiene que mantener en mente que Shannon escribió un papel - estos son nunca tan fácil de leer como un libro, si uno no está acostumbrado a ellos. Que dijo que el papel es maravilloso. Cada vez que lo leo me siento como si he entendido mejor las cosas, y ver de manera un poco diferente. Definitivamente prestar mucha atención a la forma de exposición que cada vez que usted lea.
Se advierte que la siguiente es necesariamente especulativas, y un poco ajenos a su pregunta directa.
La razón por la que C&T no ir a por qué la entropía se define de la manera que es en Ch. 2 es la filosófica. Normalmente (y este es el "incentivo" de Shannon que se mencionan a) la justificación de la entropía es que hay un par de propiedades naturales que uno quiere de una medida de información - la clave de la continuidad y de que la 'información' de dos fuentes independientes es la suma de sus efectos individuales " infromation, y una vez que uno se plantea estos axiomas, se trata de un simple teorema de que la entropía es el único funcional (hasta la multiplicación escalar) que cumpla estos.
Sin embargo, hay una (gran**) escuela de la teoría de la información que rechaza por encima de la centralidad. Se argumenta que la utilidad de cualquier información que la medida es en lo operacional de las consecuencias que tiene. (Esto, creo, surge del hecho de que los orígenes y la práctica! - de la teoría de la información son mucho en la ingeniería, y no de las matemáticas, y que los ingenieros, incluso bastante matemáticos, son en última instancia los interesados en lo que uno puede hacer con maravillosas matemáticas y no se contentan con lo maravilloso que es.***). Según este punto de vista, la razón básica podemos definir la entropía, y que es un objeto natural, es Asintótica Equipartition (y otras buenas propiedades). Así que usted encontrará que gran parte del capítulo 2 es un (relativamente) en seco el desarrollo de varios hechos acerca de las diversas medidas de información (excepto, tal vez, las cosas en Fano de la desigualdad, que es directamente aplicable), y que el sujeto realmente cobra vida en el Capítulo 3. Te sugiero la lectura que antes de dar el libro - tal vez incluso saltar hacia adelante y, a continuación, volver a Ch. 2.
Yo diría que la Cubierta y Thomas suscribirse a la anteriormente vista. Véase, por ejemplo, la conclusión de las frases de la introducción de Ch. 2:
En capítulos posteriores nos muestran cómo estas cantidades surgen como respuestas naturales
a una serie de preguntas en la comunicación, las estadísticas, la complejidad y la
los juegos de azar. Esa será la prueba definitiva de que el valor de estas definiciones.
y el siguiente de la parte inferior de la página 14 (en la 2 ª edición), un poco después de la entropía se define (siguiente (2.3) ):
Es posible derivar la definición de la entropía axiomáticamente por definir ciertas propiedades que la entropía de una variable aleatoria debe satisfacer. Este enfoque se ilustra en el Problema 2.46. No utilizamos el enfoque axiomático para justificar la definición de la entropía; en su lugar, se muestra que surge como respuesta a una serie de naturales de preguntas, tales como "¿Cuál es el promedio de la longitud de la menor descripción de la variable aleatoria?"
*: y algunas de las pruebas a las que se han puesto en tela de juicio a partir de tiempo al tiempo, creo que injustamente
**: Tengo poca capacidad para hacer estimaciones acerca de esto, pero en mi experiencia, este ha sido el dominante de la escuela.
***: La práctica de este punto de vista es también algo que Shannon se ejemplifica. Su artículo del año 1948, por ejemplo, establece para el estudio de la comunicación, no para establecer lo que la noción de información como debe ser - que es "sólo" algo tenía que venir para arriba con en el camino.
