¿Cómo se selecciona el núcleo del proceso gaussiano?

Question

En el proceso gaussiano (GP), el kernel (función de covarianza) se utiliza para medir la similitud entre un punto y otro. Hay muchas funciones de kernel para GP, y me pregunto cómo seleccionar un kernel adecuado. Por ejemplo, si mis datos de series temporales no son periódicos, ¿debo elegir el núcleo exponencial cuadrado (SE)?

Además, ¿podría alguien explicar por qué el núcleo SE es tan popular también? ¿cuál es la característica de este núcleo?

Gracias por su ayuda de antemano.

Answer 1

Reserve un segundo conjunto de datos de entrenamiento y "entrene" la arquitectura de su modelo con ellos.

es decir 1) seleccionar un núcleo arbitrario 2) entrenarlo con el conjunto de entrenamiento 1 3) evaluarlo en el conjunto de entrenamiento 2 (utilizando la exactitud, la precisión, el recuerdo, etc.) 4) si está cansado: ir a 1) 5) si no: devolver el núcleo con la mayor puntuación de evaluación del paso 3)

Probablemente tenga sentido empezar con núcleos "sencillos" e ir probando gradualmente con otros más complicados. Los modelos simples tendrán un rendimiento nominal en el conjunto de entrenamiento 2. A medida que el núcleo se complica, el modelo empieza a funcionar mejor. A medida que el kernel se complica, el modelo se comporta peor en el conjunto de entrenamiento 2, ya que el modelo complicado empieza a sobreajustarse. Este es un buen momento para parar.

Answer 2

Una posibilidad que puedes probar es simular Procesos Gaussianos con diferentes núcleos. De este modo, podrá hacerse una idea de lo que producirán los distintos núcleos. Esto se puede hacer más fácilmente seleccionando una cuadrícula de valores y simulando a partir de la normal multivariante implícita en esa cuadrícula. Para facilitar las cosas, utilice un vector cero para su función de media. También puede ver con este método si las propiedades de sus dibujos simulados tienden a coincidir con el aspecto de sus datos de la serie de tiempo.

Por ejemplo, verá que el núcleo exponencial cuadrado es muy suave. De hecho, las extracciones de un proceso gaussiano con un núcleo exponencial cuadrado serán continuas con probabilidad uno y también, de hecho, infinitamente diferenciables con probabilidad uno. Esta es una propiedad de la exponencial cuadrada que la hace muy útil. Otra razón por la que se utiliza mucho es su clara conexión con la densidad gaussiana.

Otros núcleos, como la función de covarianza de Ornstein-Uhlenbeck, producirán extracciones mucho más toscas y pueden ser más deseables en términos de un modelo.