¿Qué se entiende por la varianza de las *funciones* *Introducción a la Estadística*Aprendizaje?

Question

En la pg. 34 de Introducción a la Estadística de Aprendizaje:

A pesar de que la prueba matemática está más allá del alcance de este libro, es posible demostrar que el esperado de la prueba MSE, para un determinado valor de $x_0$, siempre se puede descomponer en la suma de tres cantidades fundamentales: la varianza de $\hat{f}(x_0)$, el cuadrado del sesgo de $\hat{f}(x_0)$ y la varianza de los términos de error $\epsilon$. Es decir,

$$ E\left(y_0 - \hat{f}(x_0)\right)^2 = Var(\hat{f}(x_0)) + [Bias(\hat{f}(x_0))]^2 + Var(\epsilon) $$

[...]La varianza se refiere a la cantidad por la que $\hat{f}$ cambiaría si se estima que el uso de un diferente conjunto de datos de entrenamiento.

Pregunta: Desde $Var(\hat{f}(x_0))$ parece denotar la varianza de funciones, ¿qué significa esto formalmente?

Es decir, estoy familiarizado con el concepto de la varianza de una variable aleatoria $X$, pero, ¿qué acerca de la varianza de un conjunto de funciones? Este puede ser pensado sólo como la variación de otra variable aleatoria cuyos valores se toman la forma de las funciones?

Answer 1

Su correspondencia con @whuber es correcta.

Un algoritmo de aprendizaje $\mathcal{A}$ puede ser visto como una función de nivel superior, la asignación de conjuntos de entrenamiento para las funciones.

$$ \mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \} $$

donde $\mathcal{T}$ es el espacio de los posibles conjuntos de entrenamiento. Esto puede ser un poco peludo conceptualmente, pero básicamente cada individuo del conjunto de entrenamiento de los resultados, después de usar el modelo de algoritmo de entrenamiento, en un speicific función de $f$ que puede ser utilizado para hacer predicciones dado un punto de datos $x$.

Si consideramos el espacio de formación se establece como un espacio de probabilidad, de modo que hay una cierta distribución de los posibles conjuntos de datos de entrenamiento, entonces el modelo de algoritmo de entrenamiento se convierte en una función con valores de variable aleatoria, y podemos pensar en conceptos estadísticos. En particular, si fijamos un punto de datos específico $x_0$, entonces obtenemos el número de valores de variable aleatoria

$$ \mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0) $$

I. e., el primer tren el algoritmo en $T$, y luego evaluar el modelo resultante en $x_0$. Este es sólo un simple viejo, sino más bien construido ingeniosamente, variable aleatoria en un espacio de probabilidad, por lo que podemos hablar de su varianza. Esta es la variación en la fórmula de ISL.