Regresión de proceso gaussiano con pesos de predicción positivos

Question

Quiero hacer una regresión de proceso gaussiano para una función de densidad $f(x)$ con una función kernel gaussiana $k(x, x')$ .

Dados los datos de entrenamiento $\mathbf{x} = (x_1, x_2, \dots, x_N)$ y $\mathbf{f} = (f(x_1), f(x_2), \dots, f(x_N))$ la predicción en un nuevo punto $x^*$ es: $$ f(x^*) = \mathbf{k}^T \mathbf{C}_N^{-1}\mathbf{f} $$ donde $$ \mathbf{k} = \begin{bmatrix} k(x_1, x^*)\\ \vdots\\ k(x_N, x^*) \end{bmatrix} \mathbf{C}_N = \begin{bmatrix} k(x_1, x_1) &\dots &k(x_1, x_N)\\ &\vdots\\ k(x_N, x_1) &\dots &k(x_N, x_N) \end{bmatrix} $$ Como se menciona en el libro de aprendizaje automático de Bishop, puedo reescribir $$ f(x^*) = \sum_{i = 1}^N a_i k(x_i, x^*) $$ con $a_i$ es el $i^{th}$ componente de $\mathbf{C}_N^{-1}\mathbf{f}$ .

Como utilizo un kernel gaussiano $k$ puedo muestrear directamente mi función de densidad, si todos $a_i$ son positivos.

Mi pregunta es si existe una forma de restringir los positivos $a_i$ en la regresión GP?

Answer 1

Veo una forma práctica (léase: rápida y sucia) de enfocar esto. Pero, en general, los procesos gaussianos parecen ser malos modelos para las densidades. Los procesos gaussianos en los puntos de entrenamiento y predicción son variables aleatorias normales multivariantes, lo que significa que no pueden ser positivos con certeza.

Si sólo está interesado en la función media, una forma rápida y sucia de evitar esto podría ser imponer una media a priori distinta de cero. Esto podría elevar su función media en áreas donde tiene pocos datos por encima de cero. Si esto tiene sentido o no depende de la naturaleza de su problema. También es posible que desee utilizar la restricción de que las trayectorias se integren en uno. Esta restricción se puede implementar de una manera limpia (véase el capítulo 9.4. de Rasmussen, Williams, donde se discuten las derivadas pero las integrales son lo mismo en espíritu)

Dependiendo de lo que necesites un enfoque aún mejor podría ser retroceder en $\log(f)$ en lugar de $f$ .

Answer 2

Sí, siempre que estés dispuesto a dejar de aprender. El mayor cuello de botella de las GPs es la inversión de K (la matriz de covarianza) que es de orden $O(n^3)$ . Pero si dejas de aprender y sigues $K^{-1}$ en algún lugar a mano puede reutilizarlo para múltiples predicciones y como tal su $a$ es una constante. Por desgracia, la mayoría de la gente quiere sistemas que sigan aprendiendo con nuevas observaciones. En este caso $a$ cambiará en cada actualización.