Uso de la información de Fisher para acotar la divergencia KL

Question

¿Es posible utilizar Información de Fisher en p para obtener un límite superior útil en KL(q,p) ?

KL(q,p) se conoce como divergencia de Kullback-Liebler y se define para distribuciones discretas sobre k resultados de la siguiente manera:

$$KL(q,p)=\sum_i^k q_i \log \frac{q_i}{p_i}$$

El enfoque más obvio es utilizar el hecho de que 1/2 x' I x es la expansión de Taylor de segundo orden de KL(p+x,p) donde I es la matriz de información de Fisher evaluada en p e intentar utilizarla como límite superior (derivación de la expansión del libro de Kullback, páginas 26 , 27 , 28 ).

Si $p(x,t)$ da la probabilidad de observación $x$ en una distribución discreta parametrizada por el vector de parámetros $t$ La matriz de información de Fisher se define del siguiente modo

$$I_{ij}(t)=\sum_x p(x,t) (\frac{\partial}{\partial t_i} \log p(x,t)) ( \frac{\partial}{\partial t_j} \log p(x,t))$$

donde la suma se toma sobre todas las observaciones posibles.

A continuación se muestra una visualización de conjuntos de $k=3$ distribuciones multinomiales para algunas $p$ (marcados como puntos negros) en los que se cumple este límite. A partir de los gráficos parece que este límite funciona para conjuntos de distribuciones que están "entre" $p$ y la distribución de entropía "más lejana" 0.

(fuente)

Motivación: Teorema de Sanov limita la probabilidad de algún evento en términos de la divergencia KL del resultado más probable... pero la divergencia KL es difícil de manejar y sería mejor tener un límite más simple, especialmente si se puede expresar fácilmente en términos de parámetros de la distribución con la que estamos trabajando

Answer 1

No estoy seguro de si esto todavía es de interés para usted, pero creo que es posible obtener algunos límites razonables si usted está de acuerdo con dejar caer el factor de $\frac{1}{2}$ . Este es mi trabajo, que puede reforzarse y perfeccionarse.

Comenzamos tomando dos funciones de masa de probabilidad $p$ y $q$ que denotamos como $p_i$ y $q_i$ . Definimos la función $f$ como $f_i= q_i-p_i$ . En lugar de hacer nada del otro mundo, consideraremos el segmento de recta $p_i(t) = p_i +tf_i$ . Desde $f$ tiene masa total cero, el $p_i(t)$ son distribuciones de probabilidad bien definidas que forman una línea recta en el simplex de probabilidad. Podemos ver que $p_i(0) = p_i$ y $p_i(1) = q_i$

Ahora tomamos la serie de Taylor para la divergencia de Kullback-Liebler, expandida en $t=0$ . Esto implicará la métrica de Fisher, pero deberíamos ampliarla más para obtener mejores resultados.

Cuando ampliemos $(p_i + t f_i)\log\left( \frac{p_i + t f_i}{p_i} \right)$ obtenemos lo siguiente:

$$f_i t+\frac{f_i^2 t^2}{2 p_i}-\frac{f_i^3 t^3}{6 p_i^2}+\frac{f_i^4 t^4}{12 p_i^3}-\frac{f_i^5 t^5}{20 p_i^4}+\frac{f_i^6 t^6}{30 p_i^5}+O\left(t^7\right)$$

Cuando sumamos $i$ el primer término desaparecerá y podremos factorizar un término de la métrica de Fisher a partir de todos los demás. Utilizaré un signo integral para sumar $i$ ya que es sugerente de lo que debería ocurrir en el caso continuo.

$$\int f_i t+\frac{f_i^2 t^2}{2 p_i}-\frac{f_i^3 t^3}{6 p_i^2}+\frac{f_i^4 t^4}{12 p_i^3} \ldots \,di = \int \frac{f_i^2 t^2}{ p_i} \left( \frac{1}{2} - \frac{f_i t}{6 p_i} + \frac{f_i^2 t^2}{12 p_i^2} \ldots \right) di$$

Comprobamos que los términos entre paréntesis del lado derecho pueden simplificarse. Fijamos $x_i = \frac{f_i t}{p_i}$ y podemos deducir lo siguiente:

$$\left( \frac{1}{2} - \frac{x_i}{6} + \frac{x_i}{12} \ldots \right) = \sum_{k=0}^\infty \frac{(-1)^k x_i^k}{(k+1)(k+2)} = \frac{(x_i +1)\log(x_i+1)-x_i}{x_i^2}$$

Esto no debería sorprender; está muy relacionado con la fórmula original de la divergencia de Kullbeck-Liebler. De hecho, no necesitábamos series de Taylor salvo para saber que había que restar el molesto $t f_i$ término. Por lo tanto, no tenemos que preocuparnos por la convergencia, esta manipulación es válida sin la serie. Por lo tanto,

$$KL(p(t), p) = \int \frac{f_i^2 t^2}{ p_i} \left( \frac{( x_i +1)\log(x_i+1)-x_i}{x_i^2} \right) di$$

Para que esto tenga sentido, debemos asegurarnos de que $x_i= \frac{f_i t}{p_i} \geq -1$ . Sin embargo, $\frac{f_i}{p_i} = \frac{q_i}{p_i} - 1 \geq -1$ . Aún mejor, resulta que $\frac{( x_i +1)\log(x_i+1)-x_i}{x_i^2} \leq 1$ en su dominio. Con esto, hemos terminado, porque esto implica $$KL(q,p)< I_p(f,f).$$

Esto implica que podemos acotar la divergencia de Kullback-Liebler mediante la métrica de información de Fisher evaluada en un vector concreto $f$ . Como la divergencia KL puede hincharse, vale la pena ver qué ocurre en este caso. Cuando esto ocurre, el vector tangente $f$ en $p$ es grande en la métrica de Fisher.