¿Cómo calcular la entropía de una distribución multivariante?

Question

Suponga que tiene la siguiente distribución para $\mathbb x$ , donde $\mathbb x$ es un $n$ vector unidimensional.

(es decir, $\mathbb x = [x_1, x_2...x_n]$ , donde $j,k \in \{ 1,2,...n\}$ tal que $x_k =1$ y $x_j = 0 $ si $j \neq k$ )

La distribución para $\mathbb x$ es

$p(\mathbb x| \theta) = \prod_{i}\theta_i^{x_i}$ , donde $\theta_i$ es una probabilidad (es decir, $\theta_i \in (0,1)$ , $\theta_i \geq0$ , $\sum_i\theta_i = 1$ )

¿Cómo puedo calcular la entropía de la distribución $p(x)$ ? Estoy intentando averiguar por dónde empezar.

---

Cuando intento este enfoque, no tiene sentido:

$\mathbb E(- \ln p) = -\mathbb \prod_{i}\theta_i^{x_i} \ln(\prod_{i}\theta_i^{x_i})$

Answer 1

Aunque $\mathbb{x}$ es una codificación elegante, existe una variable aleatoria equivalente que toma valores en $\{1,2,...,n\}$ Llámalo $\tilde{x}$ . Por lo tanto, el resultado cuya única entrada está en el índice $k$ corresponde al evento $\{\tilde{x} = k\}$ . Estas dos variables aleatorias son equivalentes para nuestros propósitos y tienen la misma entropía. Sólo estoy cambiando la representación para hacer las cosas más claras, el corazón del argumento es la simplificación de la distribución de abajo.

Si se introducen los vectores de un solo disparo en la distribución de probabilidad, se verá que todas las entradas nulas dan un 1 en el producto, lo que lleva a $P(x_k = 1) = \theta_k$ . Por lo tanto, tenemos $\tilde{x} = k$ , con probabilidad $\theta_k$ .

La entropía que buscas es $H(\tilde{x}) = H(\mathbb{x}) = -\prod_{k=1}^n \theta_k \text{ln}\left( \theta_k \right)$