¿Por qué la divergencia KL entre una normal estándar y una distribución normal es 0 si la desviación estándar es 0,37?

Question

Quería ver un gráfico sobre cómo la divergencia KL entre una distribución normal estándar, y cualquier otra distribución normal con media 0, y desviación estándar siendo $x$ varía.

Lo necesito sobre todo para el cálculo de las pérdidas del autoencoder variacional, y hasta ahora he aprendido que hay que calcularlo así:

$$D_{KL} = 0.5 * (\sigma^2 + \mu^2 - 1 - log \space \sigma^2)$$

Si pretendemos que sabemos que $\mu$ es 0, asumo que podemos simplemente saltarnos ese paso, así que terminamos con

$$D_{KL} = 0.5 * (\sigma^2 - 1 - log \space \sigma^2)$$

En este gráfico se puede ver que la divergencia KL es 0 si $x$ es -1, 1, -0,37, 0,37. Si mi ecuación es correcta, debería significar la diferencia de una distribución normal con $x$ desviación estándar de una distribución normal estándar. No entiendo los valores negativos, pero desde luego no entiendo el valor de 0,37.

¿Me he equivocado en la ecuación o es lo esperado?

Answer 1

La fórmula es correcta. Sólo hay que recordar que la divergencia KL se define en términos de la logaritmo natural .

El programa informático que ha utilizado para realizar el trazado parece utilizar la convención $\log=\log_{10}$ . Si aplica la fórmula de cambio de base, o utiliza $\ln$ Entonces se obtiene el gráfico correcto. Así que, o bien

• $-0.5\left(1 + \frac{2 \log_{10}(x)}{\log_{10} e}-x^2\right)$ o
• $-0.5\left(1 + 2 \ln(x)-x^2\right)$ funciona correctamente.

La lección aquí es saber qué convención utiliza su software, porque puede ser inconsistente entre el software. Si lo trazas en Wolfram Alpha, por ejemplo, la convención $\log = \log_e$ se utiliza.

https://www.wolframalpha.com/input/?i=-0.5*%281%2B+2+log%28x%29+-+x%5E2%29

Answer 2

KL divergencia entre dos RV normales es $$D_{KL}(\mathcal N_1,\mathcal N_2)=\log {\frac{\sigma_2}{\sigma_1}}+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2}-{1\over 2}$$

La divergencia KL no es simétrica, por lo que si se toma $\mu_2=0, \sigma_2=1$ la expresión se reduce a $$D_{KL}=-\log\sigma_1+\frac{\sigma_1^2+\mu_1^2}{2}-{1\over 2}$$

Si se toma lo contrario, es decir $\mu_1=0, \sigma_1=1$ : $$D_{KL}=\log\sigma_2+\frac{1+\mu_2^2}{2\sigma^2}-{1\over 2}$$

La primera es efectivamente la misma que la tuya. Como ha señalado @Sycorax (+1), si sólo utilizas $0.5\cdot\left(x^{2}-1-\ln x^{2}\right)$ en lugar de $0.5\cdot\left(x^{2}-1-\log x^{2}\right)$ en el servicio de trazado.