¿Cuál es el contexto general de la entropía (teoría de la información)?

Question

De La Wikipedia:

Deje $X$ ser una variable aleatoria con una función de densidad de probabilidad $f$ cuyo apoyo es un conjunto $\mathbb{X}$. El diferencial de la entropía $h(f)$ se define como $$ h(f) = -\int_\mathbb{X} f(x)\log f(x)\,dx \quad \text{es decir,} \quad \mathrm{E}_f(-\log f(X)). $$

El discreto entropía de un discretas de probabilidad de medida se define también como $\mathrm{E}_p (-\log p(X))$ donde $p$ es la masa de probabilidad de la función, que puede ser visto como la función de densidad con respecto a la cuenta de la medida en el espacio muestral discreto.

Estoy en lo cierto que el concepto de entropía depende de la medida subyacente de la muestra en el espacio, puesto que el integrando es la función de densidad wrt alguna medida subyacente?

Si sí, ¿cuál es la medida subyacente en el espacio muestral de un diferencial de entropía que Wiki se refiere en la cita anterior?

¿Cuál es el/algo de estructura general(s) definido en el espacio muestral para que sea significativa para hablar de la entropía, más de $\mathbb{R}^n$ con medida de Lebesgue de ser la medida subyacente?

Gracias y saludos!

Answer 1

En general, se puede definir la relación de la entropía entre dos medidas de probabilidad $\mu$ $\nu$ ( $\nu\ll\mu$ ) $$H(\nu\mid\mu)=-\int\frac{d\nu}{d\mu}(x)\log\left(\frac{d\nu}{d\mu}(x)\right)\mu(dx)$$ donde $\frac{d\nu}{d\mu}$ es el Radon-Nikodym derivado de la $\nu$ con respecto al $\mu$. De hecho, uno puede poner cualquier función convexa $U:\mathbb{R}\to\mathbb{R}$ en lugar de $U(x)=-x\log(x)$.

Cuando uno habla de una densidad de probabilidad, uno está hablando de una verdadera valores de r.v. $X$ cuya ley $\mu_X(A)=\mathbb{P}(X^{-1}(A))$ es absolutamente continua con respecto a la medida de Lebesgue $\lambda$ $\mathbb{R}$ y la función de densidad de $f$ no es nada más que el Radon-Nikodym derivado $\frac{d\mu_X}{d\lambda}$. En el caso de una discreta r.v. se reemplaza el Lebesge medida con el conteo medida en $\mathbb{N}$.

Con esto en mente, es fácil ver que la definición que dio el anterior no es más que la entropía $H(\mu_X\mid\lambda)$ donde $\mu_X$ es la ley de la $X$ $\lambda$ es la medida de Lebesgue en $\mathbb{R}$.