Minimizar $K(p||q)$, cuando se $q$ no es normalizable?

Question

Deje $K(p||q)$:

$$K(p||q) = \int p(x) \log \frac{p(x)}{q(x)} \mathrm{d} x$$

donde la integral va sobre el soporte común de $p$$q$.

La distribución de $p$ que minimiza este es $p = q$. Sin embargo, si $q$ no es normalizable, hay una distribución $p$ que minimiza $K(p||q)$?

Answer 1

No.

"No normalizable" debe implicar integrable y no negativa , pero con distintos integral. Por lo tanto, existe una secuencia de conjuntos medibles $ \mathcal{A}_i,\ i=1,2,3,\ldots$ que $i \le C_i =\int_{\mathcal{A}_i} q(x)dx \lt \infty$. Definir

$$p_i(x) = \frac{1}{C_i} q(x),\ x \in \mathcal{A}_i,$$

y $p(x)= 0$ lo contrario. Por construcción, $p_i$ es un PDF, pero

$$K(p_i||q) = \frac{1}{C_i}\int_{\mathcal{A}_i} q(x) \log\left(\frac{1}{C_i}\right) dx = -\log(C_i) \lt -\log(i).$$

Desde la secuencia de $-\log(i)$ no tiene límite inferior, no puede haber valor mínimo de $K(p_i||q)$, QED.