¿La capacidad del canal (definida como el máximo de información mutua) es siempre inferior a 1?

Question

La capacidad del canal se define como la tasa máxima alcanzable y es igual al máximo sobre las distribuciones de entrada de la información mutua entre la salida y la entrada, es decir.

$C=\max_{P} I(X;Y)$

Asimismo, la tasa de información se define como

$R=\frac{\log( M)}{n}$

donde $M$ es el número de mensajes y $n$ es la longitud del bloque.

Esta es mi pregunta: Si tenemos $M$ mensajes y $n$ como la longitud del bloque, necesitaríamos $\log_2(M)$ bits para representar el $M$ mensajes. Sin embargo, para evitar el error de canal, podemos añadir redundancia y transmitir los mensajes en $n$ bits para $n>\log_2 (M)$ lo que resulta en $R\leq 1$ . En consecuencia, $C\leq 1$ .

¿Hay alguna otra forma de codificar (no necesariamente añadiendo redundancia) de manera que la capacidad sea mayor que $1$ ?

Es decir, con esta definición de tasa, siempre pienso que es menor que 1, pero desde el punto de vista de la información mutua, no veo la razón de que sea menor que 1. ¿Puede alguien aclararlo?

Answer 1

Para un canal con alfabeto de entrada $\cal X$ y el alfabeto de salida $\cal Y$ la capacidad del canal está limitada por $\log \min (|\cal X|, |\cal Y|)$ .

Por ejemplo, tomemos un canal con el mismo alfabeto de entrada y salida que sólo emite la entrada exactamente. Entonces, su capacidad es $\log |\cal X|$ que se consigue con una distribución uniforme en las entradas (de hecho, para cualquier canal (débilmente) simétrico, la distribución uniforme consigue la capacidad, pero eso es otra cosa). Puede ser mayor que 1 bit.

Una tasa R es alcanzable si existe un $(\lceil 2^{nR} \rceil,n)$ códigos cuya probabilidad de error máxima es cero. A $(M,n)$ código de un canal (es decir, una especificación de $p(y|x)$ ) es un mapeo desde $\{1,\ldots,M\}$ a $\cal X^n$ (que forma el codificador) y un mapeo determinista de $\cal Y^n \to \{1,\ldots,M\}$ que forma el decodificador. La capacidad es la suma de las tasas alcanzables. Así pues, en el ejemplo que he dado antes, las tasas inferiores a $\log |X|$ son alcanzables (por ejemplo, repitiendo $n/2$ dos veces, se obtiene una tasa de $\log |\cal X| /2$ ), pero esta no es la mayor tasa posible -- sólo enviando el $n$ símbolos como es le da la tasa completa de $\log |\cal X|$ .