A partir de la teoría de la codificación --
Si desea transmitir un mensaje, decir 0 o un 1, a través de un canal ruidoso, entonces la estrategia natural es el envío de mensajes con redundancia. (Un canal ruidoso lleva su mensaje y se lo lleva a su destino, aunque con la posibilidad de una codificación de algunos de sus letras).
Por ejemplo, supongamos que yo quería transmitir a $0$ o $1$ -- $0$ para upvote y $1$ para downvote, decir que, a pesar de que esta narrativa elección es matemáticamente irrelevante.
Supongamos que nuestro canal es tal que la probabilidad de que un único cero de transmisión sexual a cambio de una es $.1$. Si yo os envío el mensaje de $00000$, mientras 3 de los ceros siendo ceros, usted será capaz de decodificar mi mensaje por mayoría de votos con una mayor probabilidad de que si te acabo de enviar un solo $0$.
(Simlrly a hw usted cn rd ths?)
La colección de $\{00000,11111\}$ es lo que un código es, y $00000$ se llama una palabra en clave.
Continuando de esta manera (por ejemplo, mediante el envío de un millón de ceros para transmitir el mensaje de cero), usted sería capaz de conducir la probabilidad de que una falta de comunicación tan pequeño como usted desea, sin embargo, en el costo de requerir más y más tiempo de transmisión para enviar el mismo mensaje (cero o uno).
Si usted llama a la tasa de esta relación ( el número de mensajes que usted envíe a ) / (el número de símbolos en el mensaje), este ingenuo método de codificación descrito permite hacer que el error pequeño, pero en el coste de envío de la tasa a cero.
Según las fuentes que he leído (pero, ¿cómo históricamente exacta que se yo, no se puede decir), de los profesionales en el campo de las comunicaciones (por ejemplo, el telégrafo ingenieros) cree que este comercio era absoluta - si usted desea reducir los errores, debe conducir a la velocidad a cero.
Esto es una cosa plausible la conjetura después de ver el ejemplo de arriba - o de cualquier manera, que probablemente podría conseguir que la gente (los estudiantes) para asentir a lo largo de si usted dijo que les mostró este ejemplo y les contó esta falsa conclusión de confianza. (La realización de un experimento sería ético, sin embargo.)
Sin embargo, en 1948, Shannon demostró una notable teorema diciendo que este trade-off fue no de manera absoluta. (El ruido de codificación de canal teorema.) De hecho, para cualquier canal hay un número que se llama la "capacidad" (que en el caso discreto puede ser calculada a partir de las propiedades probabilísticas de la canal como un problema de optimización sobre las distribuciones de probabilidad sobre un conjunto finito), y siempre que no se intente enviar a un ritmo mejor que esta capacidad, usted puede encontrar maneras de codificar sus mensajes de modo que el error se convierte arbitrariamente pequeño. Él también demostró que esta capacidad de obligado fue la mejor posible.
Una pega es que usted necesita tener una gran cantidad de mensajes a enviar; si desea enviar a uno de dos mensajes a través de tu canal (y, a continuación, cerrar el canal para los negocios), entonces usted realmente no puede hacer mejor que el ingenuo método anterior. Shannon de prueba es asintótica, la afirmación de que a medida que el tamaño del conjunto de posibles mensajes va al infinito, puede (en principio) de encontrar métodos de codificación que hacen el error de baja moral, puede mantener el código de palabras lejos el uno del otro sin el uso de demasiados bits adicionales para rellenar las transmisiones en contra de los errores, porque hay un montón de espacio extra en las dimensiones superiores.
Su prueba se abrió una enorme cantidad de investigación en explícito construcciones de códigos que acercarse a su límite, lo cual tiene conexiones con muchos otros temas de matemáticas y ciencias de la computación.
https://en.wikipedia.org/wiki/Noisy-channel_coding_theorem
Si desea conocer la declaración precisa, la Portada del libro de T. M., Thomas J. A., Elementos de la Teoría de la Información, es excelente.