He pensado un poco más en esta cuestión y he conseguido encontrar un contraejemplo, gracias también a los comentarios de Piotr más arriba. La respuesta a la primera pregunta es no - la entropía diferencial de una variable aleatoria continua (RV) es no siempre menos que $\infty$ . Por ejemplo, consideremos una RV continua X cuya pdf es $$f(x) = \frac{\log(2)}{x \log(x)^2}$$ para $x > 2$ .
No es difícil comprobar que su entropía diferencial es infinita. Sin embargo, crece con bastante lentitud (aproximadamente de forma logarítmica).
Para la segunda pregunta, soy no de una simple condición necesaria y suficiente. Sin embargo, una respuesta parcial es la siguiente. Clasificar una VR continua en uno de los 3 tipos siguientes en función de su soporte, es decir
Tipo 1: una RV continua cuyo soporte está acotado, es decir, contenido en [a,b].
Tipo 2: una RV continua cuyo soporte está semilimitado, es decir, contenido en [a, $\infty$ ) o ( $-\infty$ ,a]
Tipo 3: una RV continua cuyo soporte es ilimitado.
Entonces tenemos lo siguiente -
Para un RV de tipo 1, su entropía es siempre inferior a $\infty$ incondicionalmente.
Para un RV de tipo 2, su entropía es inferior a $\infty$ si su media ( $\mu$ ) es finito.
Para un RV de tipo 3, su entropía es inferior a $\infty$ si su varianza ( $\sigma^2$ ) es finito.
La entropía diferencial de una RV de tipo 1 es menor que la de la correspondiente distribución uniforme, es decir $log(b-a)$ , una RV de tipo 2, la de la distribución exponencial, es decir $1+log(|\mu-a|)$ y una RV de tipo 3, la de la distribución gaussiana, es decir $\frac{1}{2} log(2{\pi}e\sigma^2)$ .
Tenga en cuenta que para un vehículo recreativo de tipo 2 o 3, la condición anterior es sólo una condición suficiente . Por ejemplo, consideremos un vehículo recreativo de tipo 2 con $$f(x) = \frac{3}{x^2}$$ para $x > 3$ . Claramente, su media es infinita, pero su entropía es de 3,1 nats. O consideremos un RV de tipo 3 con $$f(x) = \frac{9}{|x|^3}$$ para $|x| > 3$ . Su varianza es infinita, pero su entropía es de 2,6 nats. Así que sería genial, si alguien puede proporcionar una respuesta completa o más elegante para esta parte.
1 votos
¿Has probado algún ejemplo? Por ejemplo, una distribución uniforme en un intervalo de longitud $L$ ?
0 votos
De hecho, la entropía diferencial de una distribución uniforme (en cualquier intervalo finito) es siempre finita, es decir, log(L), y por lo tanto está acotada. De hecho, podría identificar 2 clases de distribuciones continuas cuya entropía está siempre acotada: (1) cualquier distribución cuyo soporte esté contenido en un intervalo finito, y (2) cualquier distribución cuyo 2º momento sea finito. La primera está limitada por la distribución uniforme, mientras que la segunda está limitada por la distribución gaussiana.
0 votos
De hecho, también puedo construir una distribución con un 2º momento infinito y que siga teniendo una entropía finita. Por ejemplo, considere f(x) = 3/(x^2), x>3. Claramente E[X^2] es infinito, pero h(X) ~= -3,1 nats. Sin embargo, no he sido capaz de confirmar si esto es cierto para variables aleatorias continuas arbitrarias, ni de dar un contraejemplo que lo refute. Agradecería mucho si alguien puede demostrarlo.
0 votos
Toma $L\to\infty$ . En cuanto a la entropía frente a la varianza, sí (véase la página de Wikipedia sobre la entropía diferencial o el capítulo correspondiente de Thomas & Cover "Elements of Information Theory").
0 votos
BTW: ¿Puede ser infinita la entropía de una variable aleatoria con un número contable de resultados? - Matemáticas.SE o este ejemplo .
1 votos
Gracias por tus comentarios y los enlaces, Piotr. Por cierto, también he comprobado el de los materiales de mi curso y he encontrado exactamente el mismo ejemplo de una variable aleatoria discreta con soporte contablemente infinito. Motivado por esto, no es difícil construir un análogo continuo. Así que la respuesta a la primera pregunta es evidente. La resumiré a continuación para otras personas que puedan tener la misma pregunta. Por cierto, tengo que hacer una corrección en mi segundo comentario, concretamente, para f(x) = 3/(x^2), h(X) debería ser positivo, es decir, 3,1 nats.
2 votos
Esta pregunta y la respuesta son ambiguas porque no indican sobre qué conjuntos deben aplicarse los límites. Si $X$ es un RV, entonces tiene una entropía, y punto. Si es una VR continua "arbitraria", entonces (obviamente) no hay límite superior posible. ¿Qué restricciones pretendes imponer a $X$ ? Por los comentarios y tu respuesta parece que podrías querer arreglar el soporte de $X$ --o tal vez no? Tal vez quiera limitar $X$ a esas variables con límites dados en ciertos momentos? Tal vez quiera $X$ estar en una familia paramétrica ¿o tal vez no? Por favor, edite esta pregunta para aclararla.
0 votos
Por supuesto, tienes razón, whuber; gracias por señalarlo. No debería haber utilizado el término "limitado desde arriba"; es confuso. Dado que la pregunta se refería a la entropía de una sola variable aleatoria continua, es sólo un valor. Así que puedo preguntar simplemente si su valor es menor que $\infty$ . (Nótese que sólo me preocupa el extremo positivo; no pasa nada si es $-\infty$ . Tenga en cuenta también que mi intención era hacer una pregunta muy general, es decir, para un arbitrario variable aleatoria continua).
0 votos
La 2ª pregunta también debería reformularse en consecuencia, es decir, cuál es la y condición suficiente para que la entropía de una variable aleatoria continua sea menor que $\infty$ o si eso es difícil, ¿cuáles son las o ¿condiciones suficientes?
0 votos
La pregunta y la respuesta han sido editadas para eliminar el problema mencionado. Por favor, avísenme si hay algo ambiguo. Gracias.
0 votos
Se ha aclarado por completo. Yo también he disfrutado leyendo tu respuesta, ¡ahora que puedo entenderla!