Diferencias entre la distancia de Bhattacharyya y divergencia KL

Question

Estoy en busca de una explicación intuitiva para las siguientes preguntas:

En estadística y teoría de la información, ¿cuál es la diferencia entre la distancia de Bhattacharyya y divergencia KL, como medida de la diferencia entre dos distribuciones de probabilidad discretas?

No ¿tienen absolutamente ninguna relación y mida la distancia entre dos distribución de probabilidad en forma totalmente diferente?

Answer 1

El Bhattacharyya coeficiente se define como $$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$$ and can be turned into a distance $d_H(p,q)$ as $$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$$ que se llama el Hellinger distancia. Una conexión entre este Hellinger a distancia y la de Kullback-Leibler divergenciaes $$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$$

Sin embargo, esta no es la cuestión: si el Bhattacharyya distancia se define como$$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$$ \begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*} Por lo tanto, la desigualdad entre las dos distancias es $${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$$ Uno podría entonces preguntarse si esta desigualdad se sigue de la primera. Pasa a ser el contrario: desde $$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$$

tenemos la completa ordenación$${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$$

Answer 2

No sé de ningún explícita de la relación entre los dos, pero decidió tener una rápida meter en ellos a ver qué podía encontrar. Así que esto no es mucho de una respuesta, pero más de un punto de interés.

Por simplicidad, vamos a trabajar sobre distribuciones discretas. Podemos escribir el BC distancia como

$$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$$

y el KL distancia como

$$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$$

Ahora no podemos empujar el registro en el interior de la suma de los $\text{BC}$ distancia, así que vamos a tratar de sacar el registro para el exterior de la $\text{KL}$ distancia:

$$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$$

Vamos a considerar su comportamiento al $p$ se fija a la distribución uniforme sobre $n$ posibilidades:

$$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$$

A la izquierda, tenemos el registro de algo que es similar en forma a la de la media geométrica. A la derecha, tenemos algo similar en el registro de la media aritmética. Como dije, esto no es mucho de una respuesta, pero creo que da una cuidada intuición de cómo las dos distancias reaccionar a las desviaciones entre el$p$$q$.