La terminología en torno a esto es confusa. Por sí mismo, un proceso gaussiano es una distribución a priori sobre una función $f(x)$ , $p(f \mid x)$ . El caso más común (¡de lejos!) que se ve discutir es cuando esa función además tiene ruido gaussiano IID añadido, llámalo $y$ . $y = f + \epsilon$ , donde $\epsilon \sim N(0, \sigma^2)$ . El teorema de Bayes aquí es
$$ p(f, \sigma^2 \mid x, y) = \frac{p(y \mid f, x, \sigma^2) p(f \mid x) p(\sigma^2)}{p(y \mid x)} $$
La probabilidad, $p(y \mid f, x, \sigma^2)$ es un producto de normales, cada una con media $f_i$ y la varianza $\sigma^2$ y $p(f \mid x)$ es una normal multivariante, la prioridad GP.
Estas distribuciones son conjugadas, por lo que $f$ se puede integrar analíticamente, produciendo el probabilidad marginal . Esta probabilidad marginal acaba siendo una normal multivariante cuya covarianza es, como la que tú tenías, $K(x, x') + \sigma^2$ .
Así que su comprensión es parcialmente correcta. Si la varianza de la probabilidad gaussiana llega a cero, se puede seguir utilizando la GP. Lo único que ocurre es que el teorema de Bayes se simplifica un poco.
Esta respuesta puede ayudar tú también.