La descomposición de un localmente estacionarios matriz de covarianza

Question

Decir que tengo un no-estacionario Proceso Gaussiano con un cuadrado exponencial de la covarianza cuya forma varía a lo largo del espacio. La covarianza de las entradas son:

$$ K_{ij} = N(|x_i-x_j|,\sigma_i^2+\sigma_j^2) $$

Donde $\sigma_i^2$ es el local de la varianza en el punto de $i$. (Esta covarianza es construido a partir de un no-uniforme de convolución--para más información, ver Paciorek Y Schervish, Environmetrics 2006).

La evaluación de la Gaussiana Proceso de probabilidad requiere invertir (o, al menos, el cómputo de la Cholesky/Eigen descomposición de) K:

$$ p(D)\sim N(0,K+\sigma_n^2I) $$

Donde $\sigma_n$ es independiente de ruido plazo. Que es potencialmente una tarea muy difícil cuando K es grande, y quiero ser capaz de hacer esto por ~$10^6$ puntos de datos. Hay trucos para acelerar esta descomposición? Aquí hay dos supuestos simplificadores:

• el $\sigma_i$ condiciones cambian lentamente, por lo que la covarianza es localmente estacionarios (no estoy seguro de cómo definir rigurosamente que - Paciorek el $\sigma$ términos que vienen de otro GP).
• los datos están en un regular rejilla 3D (si es que eran estacionarios podría utilizar super rápido de Kronecker técnicas, ver Gilboa 2015).

Enfoque actual: "la fuerza bruta" la descomposición con escasa técnicas de inversión, pero esto realmente sólo funciona en un número muy pequeño de casos.

Answer 1

Hay un par de opciones:

• Un muy rápido método de ese tipo de saltos de GPs pero parece que funciona bien en muchos casos prácticos son locales experto en modelos tales como un sólido Bayesiano Comité de Máquinas (papel aquí, muy fácil de aplicar!)

• Más matemáticamente hermosa enfoque es el uso de matrices jerárquicas por ejemplo HODLR matriz de aproximaciones (papel aquí, rápido código disponible aquí)

• De bajo rango de aproximaciones por ejemplo FITC, Nystrom, etc. Funcionan bien cuando el modelo requiere sólo de unos pocos grados de libertad (muchas implementaciones como GPy tan sólo google)

• Estocástico Variacional Inferencia escalas basadas en el número de iteraciones que se aplica en un método iterativo (papel aquí, código aquí )

Me acaba de nombrar a algunos de los enfoques anteriores, pero también hay métodos espectrales, KISSgps, etc. De hecho es uno de los más ampliamente investigado en áreas de Gauss Proceso de la literatura!

Buena suerte y háganos saber lo que funciona mejor para usted :)