Demuestre que la covarianza exponencial al cuadrado es definida no negativa

Question

Considere una función de covarianza del formulario$$K_{i,j}=\alpha\times exp(-0.5 (x_i-x_j)^2/l^2)$ $

Esta es una función muy común utilizada en los procesos de Gauss. ¿Cómo mostrar que esta covarianza es definida no negativa?

Answer 1

Yo no soy un experto pero voy a esbozar un argumento estándar que se explica en más detalle en Rasmussen y Williams, Capítulo 4, Sección 2.1 (que libro ha respondido a una tonelada de mi pregunta sobre el GPs). Así que estamos trabajando con el cuadrado de la función exponencial a la derecha? Tenemos: $$K_{i,j}= \alpha \cdot \mathrm{exp}(\frac{-(x_i-x_j)^2}{2\ell^2}) = \alpha \cdot \mathrm{exp}(\frac{-(|x_i-x_j|)^2}{2\ell^2})$$

Desde el núcleo puede ser escrita como una función de la $|x_i-x_j|$, es estacionaria (isotrópica, incluso). Ya es estacionaria, el truco es que podemos aplicar Bochner del teorema de a $K_{i,j}$. En este caso, mostrando los efectos positivos semidefiniteness de la plaza exponencial reduce a encontrar una adecuada función de $S(s)$ cual podemos tomar la transformada de Fourier $\mathcal{F}_s$ tal que $\mathcal{F}_s(S(s))=K_{i,j}$. Ahora la transformada de Fourier de una Gaussiana es otro de Gauss, por lo que el $S(s)$ función que estamos buscando resulta ser $$ S(s) = \alpha (2\pi \ell^2)^{D/2} \mathrm{exp}(-2\pi^2 \ell^2s^2). $$ Si se calcula la transformada de Fourier de esta función obtendrá su núcleo, lo que demuestra que es positiva semidefinite. Lo siento si eso es demasiado concisa, pero puedo tratar de obtener más detalles si que ayuda.

Answer 2

También hay 3 pruebas más aquí: ¿Cómo probar que la función de base radial es un kernel?

Tenga en cuenta que el núcleo "cuadrado exponencial" también se denomina núcleo "función de base radial" (RBF) y un núcleo "gaussiano".