¿Cómo depende la entropía de la ubicación y la escala?

Question

La entropía de una distribución continua con función de densidad de $f$ se define como el negativo de la expectativa de $\log(f),$ y por lo tanto es igual a

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

También decimos que cualquier variable aleatoria $X$ , cuya distribución tiene una densidad de $f$ ha entropía $H_f.$ (Esta integral es bien definido, incluso cuando $f$ tiene ceros, porque $\log(f(x))f(x)$ puede ser tomado igual a cero en esos valores.)

Cuando $X$ e $Y$ son variables aleatorias para que $Y = X+\mu$ ($\mu$ es una constante), $Y$ se dice que es una versión de $X$ desplazado por $\mu.$ manera Similar, cuando se $Y = X\sigma$ ($\sigma$ es una constante positiva), $Y$ se dice que es una versión de $X$ escala por $\sigma.$ la Combinación de una escala con un cambio de da $Y=X\sigma + \mu.$

Estas relaciones se producen con frecuencia. Por ejemplo, cambiar las unidades de medición de $X$ de los turnos y de las escalas de ella.

¿Cómo es la entropía de $Y = X\sigma + \mu$ relacionado con el de la $X?$

Answer 1

Ya que la probabilidad elemento de $X$ es $f(x)\mathrm{d}x,$ el cambio de variable $y = x\sigma + \mu$ es equivalente a $x = (y-\mu)/\sigma,$ a partir de

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

de ello se deduce que la densidad de $Y$ es

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

Por consiguiente, la entropía de $Y$ es

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

que, al cambiar la variable de a $x = (y-\mu)/\sigma,$ produce

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

Estos cálculos utilizan las propiedades básicas del logaritmo, la linealidad de la integración, y el hecho de que $f(x)\mathrm{d}x$ integra a la unidad (la Ley de Total Probabilidad).

La conclusión es

La entropía de $Y = X\sigma + \mu$ es la entropía de $X$ más $\log(\sigma).$

En palabras, el cambio de una variable aleatoria no cambia su entropía (podríamos pensar que la entropía como función de los valores de la densidad de probabilidad, pero no se en donde los valores de ocurrir), mientras que el escalado de una variable (que, por $\sigma \ge 1$ "estira" o "manchas" que fuera), aumenta su entropía por $\log(\sigma).$ Esto apoya la noción de que la entropía de alto distribuciones son "dispersión" de baja entropía distribuciones.

---

Como consecuencia de este resultado, somos libres para elegir conveniente valores de $\mu$ e $\sigma$ cuando se calcula la entropía de cualquier distribución. Por ejemplo, la entropía de un Normal$(\mu,\sigma)$ distribución se puede encontrar mediante el establecimiento $\mu=0$ e $\sigma=1.$ El logaritmo de la densidad en este caso es

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

de dónde

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

Por consiguiente, la entropía de un Normal$(\mu,\sigma)$ distribución se obtiene simplemente sumando $\log\sigma$ a este resultado, dando

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

según lo informado por la Wikipedia.