¿Existe un significado operativo para entender la no negatividad de la entropía relativa entre dos distribuciones de probabilidad? Entiendo el argumento/prueba matemática. Pero quiero saber si hay una forma intuitiva de recordar que la entropía relativa no puede ser negativa mediante alguna tarea operativa.
Respuesta
¿Demasiados anuncios?
Smiley Sam
Puntos
1587
Al hacer una búsqueda de "interpretación de la entropía relativa", estas notas de clase subir. Sugieren que la entropía relativa $D(p\|q)$ para medidas de probabilidad $p$ y $q$ es la "información que obtenemos sobre una variable aleatoria $X$ si originalmente pensamos que $X \sim Q$ y ahora nos enteramos $X \sim p$ ". Obtener más datos/muestras/información siempre significa que sabemos más, por lo que nuestro "conocimiento"/"información" no puede disminuir; de ahí la no negatividad. Esto es bastante difícil de entender, al menos para mí; espero poder explicarlo de forma útil...
Consideremos un simple paseo aleatorio $(X_t)_{t\ge0}$ sobre el ciclo $[n] = \{1,...,n\}$ (con $i$ y $j$ conectadas si y sólo si $|i-j| = 1$ mod $n$ ). Esta tiene como distribución invariante la distribución uniforme en $[n]$ que denotaré $\pi_n$ . Por lo tanto (se puede demostrar que) $D(\mathcal L(X_t)\|\pi_n) \to 0$ como $t \to \infty$ (con $n$ fijo), donde $\mathcal L(X_t)$ es la ley/distribución de $X_n$ .
Consideremos el siguiente "experimento mental". Ahora, supongamos que hemos ejecutado durante algún tiempo grande $t$ para que crea $X_n$ es exactamente uniforme (es decir $\mathcal L(X_t) = \pi_n$ ). Usted, sin embargo, es mejor probabilista: sabe que aunque $\mathcal L(X_t)$ converge a $\pi_n$ en varios sentidos, para cada $t$ tenemos $\mathcal L(X_t) \ne \pi_n$ .
Ahora, muestreo $X_t$ (para este gran $t$ ) muchas veces y ver, he aquí, que no es uniforme. Sin embargo, se aproxima bastante a la uniformidad. He "aprendido" algo de información; esta cantidad es precisamente $D(\mathcal L(X_t)\|\pi_n)$ por lo que este número debe ser no negativo.
Wikipedia también tiene una sección llamada " Interpretaciones "
