De Kullback–Leibler divergencia entre dos distribuciones gamma

Question

La elección de la parametrización de la distribución gamma $\Gamma(b,c)$ por el pdf $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ El Kullback-Leibler divergencia entre el $\Gamma(b_q,c_q)$ $\Gamma(b_p,c_p)$ está dada por [1]

\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}

Supongo que $\Psi(x):= \Gamma'(x)/\Gamma(x)$ es la función digamma.

Es dado con ninguna derivación. No puedo encontrar ninguna referencia que hace derivar este. Alguna ayuda? Una buena referencia sería suficiente. La parte difícil es la integración de $\log x$ contra un gamma pdf.

[1] W. D. Penny, KL-las Divergencias de la Normal, Gamma, Dirichlet, y Wishart densidades, Disponible en: www.fil.ion.ucl.ac.uk/~wpenny/publicaciones/densidades.ps

Answer 1

La divergencia KL es una diferencia de las integrales de la forma

$$\eqalign{ I(a,b,c,d) y=\int_0^{\infty} \log\left(\frac{e^{-x/a}x^{b-1}}{a^b\Gamma(b)}\right) \frac{e^{-x/c}x^{d-1}}{c^d \Gamma(d)}dx \\ y=-\frac{1}{a}\int_0^\infty \frac{x^d e^{-x/c}}{c^d\Gamma(d)}\,dx - \log(a^b\Gamma(b))\int_0^\infty \frac{e^{-x/c}x^{d-1}}{c^d\Gamma(d)}\,dx\\ &\quad+ (b-1)\int_0^\infty \log(x) \frac{e^{-x/c}x^{d-1}}{c^d\Gamma(d)}\,dx\\ y=-\frac{cd}{a} - \log(a^b\Gamma(b)) + (b-1)\int_0^\infty \log(x) \frac{e^{-x/c}x^{d-1}}{c^d\Gamma(d)}\,dx }$$

Sólo tenemos que lidiar con la mano derecha integral, que se obtiene mediante la observación de

$$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$$

De dónde

$$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$$

Enchufar a la anterior rendimientos

$$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$$

El KL divergencia entre el $\Gamma(c,d)$ $\Gamma(a,b)$ es igual a $I(c,d,c,d) - I(a,b,c,d)$, que es sencillo de montar.

Answer 2

La distribución Gamma es en la exponencial de la familia debido a que su densidad se puede expresar como:

\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}

Mirando a la función de densidad Gamma, su registro-normalizador $$g(\btheta) = \log(\Gamma(c)) + c\log(b)$$ con parámetros de naturaleza $$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$$

Todas las distribuciones en el exponencial de la familia han divergencia KL:

\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}

Hay realmente una buena prueba de ello en:

Frank Nielsen, de la École Polytechnique, y Richard Nock, Entropías y cruz-entropías de la exponencial de las familias.

Answer 3

Si le sucede a través de Pierre Baldi y Laurent Itti (2010) "De los bits y los wows: Una teoría Bayesiana de la sorpresa con que las aplicaciones de atención" Redes Neuronales 23:649-666, usted va a encontrar la Ecuación 73 da un KL divergencia entre dos gamma pdf. Tener cuidado, sin embargo, parece que la fórmula está mal impreso.