Considere la posibilidad de una variable aleatoria $X$ tomar valores superiores a $\mathbb{N}$. Deje $\mathbb{P}(X = i) = p_i$$i \in \mathbb{N}$. La entropía de $X$ está definido por $$H(X) = \sum_i -p_i \log p_i.$$ Es posible que $H(X)$ a un ser infinito?
Respuestas
¿Demasiados anuncios?
palehorse
Puntos
8268
Considerar las variables independientes $X_0, X_1, X_2 , X_3 \cdots$ donde $X_k$ no la superposición de uniforme discreta de las distribuciones más de $2^k$ de los valores, por ejemplo $X_0=1$, $X_1: U[2\ldotp\ldotp3]$, $X_2: U[4\ldotp\ldotp7]$, $X_3:U[8\ldotp\ldotp15]$, etc. Los respectivos entropías se $H(X_k) = k$ bits.
Deje $Y$ ser generados mediante la selección de $X_k$ con probabilidades $m_k\ge 0$ ($\sum_{k=0}^\infty m_k=1)$. Esto se conoce como una mezcla, con la mezcla de la distribución de $m_k$, y el resultado de la entropía (siempre que los componentes no se superponen) es
$$\begin{array}{} H(Y)&=&H(m)+m_0 H(X_0)+m_1 H(X_1)+ m_2 H(X_2) + m_3 H(X_3) +\cdots \\ &=& H(m) + m_1 + 2 \, m_2 + 3 \, m_3 \cdots \\&=& H(m) + \sum k \, m_k \end{array}$$
Por lo tanto, utilizando la mezcla de distribución de $m_k$ tal que $\sum k \, m_k=\infty$, alcanzamos el infinito de la entropía. Por ejemplo: $m_k=A/k^2$. En el ejemplo de David responder esencialmente corresponde a esta elección.
Sí, se puede.
En este pdf, se muestra que la siguiente variable aleatoria $X$ tiene una infinidad de entropía:
Deje $X$ de los valores de $2,3,\ldots$ y definir $$p_n={1\over A n\log^2_2 n},\ \ \ n\ge2,$$ where $A = \sum\limits_{n=2}^\infty {1\over n\log^2_2 n}$ ($$ is a convergent sum by the Integral Test). Then $X$ with the probability mass function $P[X=n]=p_n$, $n\ge 2$, tiene una infinidad de entropía.
La integridad, la voy a reproducir el argumento que figura en el enlace de arriba que $H(X)=\infty$ aquí:
Tenemos $$\eqalign{ H(X) y=-\sum_{n=2} p_n \log_2 p_n \cr &=\sum_{n=2}^\infty\bigl( -\log_2(p_n)\bigr) p_n\cr &= \sum_{n=2}{\log_2 (\log_2^2 n )\más de Un n\log_2^2 n} \cr &=\sum_{n=2}^\infty {{\log_2 Un+\log_2 n +2\log_2(\log_2 n))}\más de Un n \log_2^2 n}\cr &=\sum_{n=2}^\infty\biggl[\ \color{color granate}{\log_2 Un\más de Un n\log_2^2 n}+\color{verde oscuro}{1\over Un n\log_2 n}+\color{darkblue}{2\log_2(\log_2 n)) \más de Un n\log_2^2 n}\ \biggr].\cr } $$
Ahora
$$
\color{color granate}{
\sum\limits_{n=2}^\infty {\log_2 Un\más de Un n\log_2^2 n}}
={\log_2 Un\a través de Una}
\sum\limits_{n=2}^\infty {1\over n\log_2^2 n} ={\log_2 Un\a través de Una}\cdot A=\log_2 A.
$$
y $$ \color{darkblue}{ \sum\limits_{n=2}^\infty {2\log_2(\log_2 n)\más de Un n\log_2^2 n}} $$ es una suma que consta de términos no negativos.
Lo que se deduce que $H(X)=\infty$, si podemos demostrar que la suma $$ \color{verde oscuro de}{\sum_{n=2}^\infty {1\over\log_2 n}} $$ diverge a $\infty$. Pero, de esto se deduce fácilmente a partir de la Integral de la Prueba.
(A partir de la Integral de la Prueba, de ello se sigue que $\int_2^\infty {dx\over x\log_2^p x}$
converge si y sólo si $p>1$.)
