Distribución empírica frente a la verdad: ¿a qué velocidad $KL( \hat{P}_n || Q)$ converge a $KL( P || Q)$?

Question

Deje $X_1,X_2,\dots$ ser yo.yo.d. muestras tomadas de un espacio discreto $\mathcal{X}$ según la distribución de probabilidad de $P$, y denotan la resultante de distribución empírica basada en n muestras por $\hat{P}_n$. También vamos a $Q$ ser una distribución arbitraria. Es claro que (KL-divergencia)

$KL( \hat{P}_n || Q) \stackrel{n\rightarrow \infty}{\longrightarrow} KL(P || Q)$,

pero me pregunto si existe algún conocido cuantitativa de la tasa de convergencia. Me refiero a si se puede demostrar que

$\Pr\Big[ | KL( \hat{P}_n || Q) - KL(P || Q) | \geq \delta\Big] \leq f(\delta, n, |\mathcal{X}|)$,

y ¿cuál es la mejor expresión de la RHS si es que hay alguno.

Muchas gracias!

Answer 1

He aquí un pensamiento. No sé si estoy en un mundo imaginario y pedir demasiado. De cualquier manera, permítanme proponer esto. Estoy escribiendo como una respuesta ya que es poco más grande para poner un comentario.

Supongamos, por todos los fijos $Q$, podemos encontrar un lineal de la familia $\Pi$ de prob. las distribuciones que consta de todos los empírica medidas de $\hat{P_n}$$P$, y de tal manera que $P$ $I$- proyección de $Q$$\Pi$, entonces la propiedad de Pitágoras $$D(\hat{P_n}\| Q)=D(\hat{P_n}\|P)+D(P \| Q)$$ sostiene y, por tanto, la velocidad de convergencia de $D(\hat{P}_n\| Q)\to D(P \| Q)$ es igual a la de $D(\hat{P}_n\| P)\to 0$.