Estoy estudiando para un examen de teoría de la información, quizás alguno de vosotros pueda ayudarme con un ejercicio.
¿Cuál es la entropía de $X$ como $\{1,2,\ldots,n\}$ ( $n$ =infinito) donde las probabilidades son $P \{1/2^1, 1/2^2,\ldots, 1/2^n\}$ ?
La pregunta es de opción múltiple y da 4 respuestas posibles: 1. $2 \over 3$ bits/símbolo; 2. $1 \over 2$ bits/símbolo; 3. $\infty$ bits/símbolo; 4. ninguna de las anteriores;
Hasta ahora tengo: $$ H(X) = - \sum_{i=1}^{n} P(x_i) \cdot\log_2( P(x_i)) $$
Así que en este caso, $$ H(X) = - \sum_{i=1}^{\infty} {1 \over 2^i} \cdot\log_2\left({1 \over 2^i}\right) $$
$\log_2(1/x) = -\log_2(x)$ , mientras que $x>0$ Así que..,
$$ H(X) = - \sum_{i=1}^{\infty} {1 \over 2^i}\cdot(-i) $$
También lo sé:
$$ \sum_{i=1}^{\infty} a \cdot r^{-i} = {a \over r-1} $$
Pero en este caso creo que "a" debe ser una constante, ¿no?
Wolfram Alpha me da como resultado H(X) = 2 bits/símbolo: bit.ly/nbQwgV
¿Es correcto? ¿Alguna pista?
Muy apreciado. Salud.
