Proceso gaussiano con límites en las variables no observadas

Question

Estoy tratando de utilizar la regresión de procesos gaussianos de la que sólo tengo conocimientos básicos y el problema que tengo que tratar tiene un poco de giro en relación con la configuración natural, por lo que me preguntaba si hay algún resultado conocido para el tipo de problema al que me enfrento.

Estoy interesado en la distribución posterior de un conjunto de observaciones no observadas $y_i$ asociado a algún $x_i$ para $i$ en algún conjunto $I$ . Los datos de los que dispongo son de la forma:

1. $(x_i,lb_i)$ para $i \in L \subset I$ donde $lb_i$ es una cota inferior para la variable no observada $y_i$ a $x_i$ .
2. $(x_i,ub_i)$ para $i \in U \subset I$ donde $ub_i$ es una cota superior para la variable no observada $y_i$ a $x_i$ .

Se puede suponer que no habrá condiciones conflictivas, y que $L \neq U$ pero también que $L \cup U \neq \emptyset$ y que $E[y_i] = 0$

Answer 1

En realidad se puede calcular la media posterior utilizando la siguiente observación si se conoce el núcleo $k$ del GP. Sea $f\sim \mathcal{GP}(0,k)$ de $\mathcal{X}$ a $\mathbb{R}$ (como $\mathcal{X} \subseteq \mathbb{R}^d$ ), y $\{x_j\}_{j\in L}$ el conjunto de puntos para los que se tiene un límite inferior $l_j$ y $\{x_j\}_{j\in U}$ el conjunto de puntos para los que se tiene un límite superior $u_j$ . Para cualquier punto $x\in\mathcal{X}$ se puede calcular la predicción dada por la media posterior: $$\mathbb{E}\Big[f(x) ~\big|~ \{f(x_j)>l_j\}_{j\in L}, \{f(x_j)<u_j\}_{j\in U}\Big] \\ = \mathbb{E}\Big[\mathbb{E}\big[f(x)\mid \{f(x_j)\}_{j\in L\cup U}\big] \mid \{x_j>l_j\}_{j\in L}, \{x_j<u_j\}_{j\in U}\Big] \\ = \mathbb{E}\Big[\mathrm{k}_x\mathrm{K}_{LU}^{-1}\mathrm{f}_{LU} \mid \{x_j>l_j\}_{j\in L}, \{x_j<u_j\}_{j\in U}\Big] \\ = \mathrm{k}_x\mathrm{K}_{LU}^{-1} \mathbb{E}\Big[\mathrm{f}_{LU} \mid \{x_j>l_j\}_{j\in L}, \{x_j<u_j\}_{j\in U}\Big]\,, $$ donde $\mathrm{k}_x$ es el vector de covarianzas $k(x,x_j)$ para todos $x_j\in L\cup U$ , y de forma similar $\mathrm{K}_{LU}$ es la matriz del $k(x_j,x_{j'})$ y $\mathrm{f}_{LU}$ es una abreviatura del vector de columnas de $f(x_j)$ . Entonces la última expectativa es la media de una normal multivariante truncada. Es difícil encontrar fórmulas exactas, pero tienes algoritmos eficientes para muestrear de esta distribución, disponibles en Matlab, R, etc.

Este es un ejemplo de la salida, donde la predicción está en azul, los límites inferiores en verde y los límites superiores en rojo. El núcleo $k$ es la Exponencial Cuadrada con escala de longitud unitaria.

Sin utilizar aproximaciones, el coste de los cálculos se debe a la inversión de la matriz de covarianza $\mathrm{K}_{LU}$ Es decir $\mathcal{O}(n^3)$ para $n=|L\cup U|$ . La descomposición de Cholesky mejora la constante y la estabilidad, pero sigue siendo $\mathcal{O}(n^3)$ . Nótese que esta descomposición se utiliza tanto en la fórmula de la media posterior como en el muestreo de la normal truncada. El coste computacional no depende de la dimensión $d$ sólo en el número de puntos de entrenamiento $n$ .

Answer 2

Recapitulando y ampliando mi debate en los comentarios.

Si tuvieras $(lb_i, ub_i)$ por cada $i$ Un enfoque sería el que recomendé a este otra pregunta es decir, tener un único GP con observaciones $\tilde{y}_i = \frac{lb_i + ub_i}{2}$ y el ruido dependiente de la observación proporcional a $ub_i - lb_i$ .

Ya que en sus datos $lb_i$ o $ub_i$ no están disponibles para todos los puntos de datos, la alternativa que se me ocurre es ajustar dos GPs, $G_l$ y $G_u$ , respectivamente a $(x_i,lb_i)$ y $(x_i,ub_i)$ . Esto le permitirá generar predicciones para los límites en puntos no observados. No exigimos explícitamente $G_l < G_u$ en el entrenamiento pero podemos añadir la restricción en la predicción.

En particular, para un punto determinado $x$ : $$ p(y|x) \propto \int_{-\infty}^{\infty} \mathcal{N}(l| \mu_l(x),\sigma^2_l(x)) \left\{\int_{l}^\infty \mathcal{N}(u| \mu_u(x),\sigma^2_u(x)) \frac{\left[l \le y \le u \right]}{u - l} du \right\} dl $$ donde $[\cdot]$ denota El soporte de Iverson y $\mu_l, \sigma^2_l$ ( $\mu_u, \sigma^2_u$ ) son la media y la varianza latentes de $G_l(x)$ (resp. $G_u(x)$ ). Dudo que puedas evaluar la integral anterior analíticamente, pero puedes calcularla numéricamente con bastante facilidad.

Para un mejor modelo, probablemente quieras acoplar $G_l$ y $G_u$ mediante un núcleo de acoplamiento según Bonilla, Chai y Williams (2008), Predicción de procesos gaussianos multitarea . Para el entrenamiento multitarea se necesita que las entradas estén bien definidas para todas las GPs, lo que no es tu caso. Sin embargo, en una primera aproximación (si te parece bien un poco de doble inmersión) puedes arreglar eso usando el $G_l$ y $G_u$ para rellenar los valores no vistos. Lo ideal es rellenar como observaciones inciertas de los límites, con la incertidumbre dependiente de la observación según $\sigma_l$ y $\sigma_u$ .