Límite inferior de la divergencia de Kullback-Leibler

Question

¿Existe algún tipo de baja ¿Los límites de la divergencia KL entre dos densidades? Informalmente, estoy tratando de estudiar problemas en los que $f$ es alguna densidad objetivo, y quiero demostrar que si $g$ se elige "mal", entonces $KL(f\Vert g)$ debe ser grande. Los ejemplos de comportamiento "pobre" podrían incluir diferentes medios, momentos, etc.

Una pregunta más difícil: ¿Hay algún límite inferior para la divergencia KL entre dos modelos de mezcla (por ejemplo, una mezcla de gaussianos)? Por ejemplo, un límite inferior en términos de las mezclas de componentes.

El único límite que he encontrado es la ecuación (19) en este documento , lo que desgraciadamente no parece ayudar.

Answer 1

$\mbox{KL}(f||g)\geq 0$ . Pero en serio, esto es realmente un muy difícil problema. Relevante para este tema es el área de la Teoría de Grandes Desviaciones, específicamente las Funciones de Tasa. Aquí encontrará un compendio de límites, por ejemplo:

https://en.wikipedia.org/wiki/Inequalities_in_information_theory#Lower_bounds_for_the_Kullback.E2.80.93Leibler_divergence

con Desigualdad de Kullback siendo uno de estos límites. El problema es siempre averiguar cómo diablos calcular la función de tasa.

Un límite ligeramente no trivial es La desigualdad de Pinsker , que dice que la variación total puede utilizarse para acotar KL desde abajoi, pero esto casi nunca es ajustado.

Answer 2

He obtenido un límite inferior que sólo depende de los momentos (por ejemplo, la media y la varianza).

Aunque no se conozca la verdadera distribución, podemos calcular el límite inferior (aproximación) de la divergencia KL utilizando sólo el valor esperado y la varianza de una función que elijamos.

Véase el Teorema 1 en el siguiente documento.

https://arxiv.org/abs/1907.00288

La URL de un código de muestra para este trabajo es

https://github.com/nissy220/KL_divergence

Por favor, confirme los resultados.

En el gráfico de la izquierda, la línea roja es el resultado de nuestro límite inferior y la línea azul es la divergencia KL para la distribución normal.

El gráfico de la derecha muestra la proporción.