Distancia L1 entre medidas gaussianas

Question

Distancia L1 entre medidas gaussianas: Definición

Sea $P_1$ y $P_0$ sean dos medidas gaussianas sobre $\mathbb{R}^p$ con sus respectivas "media,Varianza" $m_1,C_1$ y $m_0,C_0$ (Asumo que las matrices tienen rango completo). Sé que el cálculo de la distancia L1 entre $P_1$ y $P_0$ : $$d_1=\int|dP_1-dP_0|$$

El caso fácil

es un ejercicio fácil cuando $C_0=C_1=C$ : $$d_1=2(2\Phi(\sigma/2)-1)$$ donde $$\sigma=\|C^{-1/2}(m_1-m_0)\|.$$ (norma de $\mathbb{R}^p$ ) y $\Phi$ es la fdc de una variable real gaussiana de media cero varianza 1.

No recuerdo el nombre de $\sigma$ (¿Norma RKHS? ¿Cameron martin?) pero también se puede escribir: $\|\mathcal{L}\|_{L_2(P_{1/2})}$ donde $\mathcal{L}$ es la función logarítmica de la razón de verosimilitud y $P_{1/2}$ es la distribución normal con media $(m_1+m_0)/2$ y varianza $C$ .

Mi pregunta es sobre cómo extender ese tipo de resultado para el caso en que $C_0\neq C_1$ (cálculo explícito de la distancia L1).

Veo dos posibles reducciones del problema si los cálculos son demasiado complicados:

1. buscar una desigualdad que relacione la distancia L1 y alguna norma del cociente de probabilidades
2. buscar alguna expresión exacta en un caso concreto, por ejemplo $C_1$ y $C_0$ diagonal.

La reducción 1 obtiene una respuesta parcial con la desigualdad general

$$d_1\leq 2\sqrt{K(P_1,P_0)}$$ (debido a pinsker o Lecam no recuerdo) donde $$K(P_1,P_0)=\int \log \left(\frac{dP_1}{dP_0} \right ) dP_1$$ es la divergencia de Kullback.

No estoy muy satisfecho con esta respuesta ya que en el caso $C_1=C_0$ es subóptima, no incluye una "media medida" $P_{1/2}$ (podría incluir $(P_0+P_1)/2$ utilizando el doble de la desigualdad, pero no me gusta mucho esta interpolación),...

Answer 1

Los límites superior e inferior explícitos se obtienen en el Teorema 1.2 y la Proposición 2.1 de La distancia de variación total entre gaussianos de alta dimensión .

Answer 2

Se puede obtener otro límite mediante la distancia de Hellinger $d_1 \leq \frac{\sqrt{2}}{2} H(P,Q)$ . (aunque no estoy seguro de lo ajustado o suelto que será el límite obtenido).

Answer 3

Lo que has escrito es también una distancia de variación total entre dos medidas gaussianas y $\sigma$ se calcula efectivamente mediante la norma del espacio de Cameron-Martin.

No estoy seguro de qué hacer por ejemplo en el caso diagonal, uno debe buscar la prueba cuando las matrices de correlación son iguales. En este caso los elipsoides relacionados con los operadores de covarianza tienen la misma orientación, y uno puede tratar de encontrar el conjunto de Borel que da el supremum de la norma de variación total y por lo tanto a $L^1$ distancia. Sólo porque los elipsoides son los mismos, tal vez encontrar el conjunto óptimo de Borel es un ejercicio solucionable (de nuevo buscar la prueba cuando $C_0=C_1$ ). (Creo que podría ser algún conjunto como un medio plano -- al menos en una dimensión es bastante fácil ejercicio -- encontrar $L^1$ norma entre Gaussianos con diferentes varianzas -- este conjunto es sólo un conjunto donde una densidad es mayor que la otra, en el caso multidimensional cuando $C_0=C_1$ este conjunto es un semiplano debido a la buena orientación de los elipsoides).

Para el caso diagonal si la afirmación anterior es cierta, se puede intentar encontrar de nuevo un buen conjunto de Borel relacionado con los valores espectrales.

Por lo demás, no estoy seguro de que para general $C_0,C_1$ podría ser calculado ya que no hay simetría en el problema (mira el ejemplo sobre los semiplanos, que escribí arriba).