Variable aleatoria de error cuadrático medio

Question

Estoy leyendo Elementos de Aprendizaje Estadístico (2ª edición, 12ª impresión) y hay dos cosas que me preocupan.

En cuanto a la ecuación 2.25, una es el conjunto de entrenamiento . Supongo que es una función de dos variables aleatorias X e Y, por lo que al calcular el valor esperado, ¿la función de densidad de probabilidad subyacente sería la distribución conjunta de X e Y?

Otra cosa es si debo interpretar y0-hat como una constante o como una variable aleatoria. Sé que es una estimación del punto de entrada de la prueba. Si y0-hat es una variable aleatoria, ¿cuál sería la distribución de probabilidad subyacente?

Entiendo la derivación de la descomposición del error medio cuadrático en varianza y sesgo, pero cuando miro Var(y0-hat), no puedo evitar pensar que y0-hat es una constante y, por tanto, Var(y0-hat) = 0. ¿Qué hay de malo en mi pensamiento?

Una confusión similar surge para el error de predicción esperado (ecuación 2.27), donde el valor esperado se calcula con respecto a y0|x0, lo que me parece que y0 es una variable aleatoria y x0 un evento.

Lo siento, no sé cómo formatear. Disculpen si esto ya fue publicado. Cualquier ayuda será muy apreciada.

Answer 1

Sí, $X$ y $Y$ son variables aleatorias. Permítanme completar algunos de los detalles técnicos.

Por comodidad, dejemos que $Z_i = (X_i,Y_i)$ ser i.i.d. y definir $\mathbf{Z} = \{Z_1,\ldots,Z_N\}$ .

El estimador $\hat{y}$ es una función de todas las observaciones de los datos de entrenamiento (que es aleatoria) y $x$ (que es determinista). En otras palabras, $$\hat{y}= g(\mathbf{Z},x)$$

Por ejemplo, la predicción lineal se ajusta a esta forma $$ \hat{y} \equiv \hat{y}(x) = x \hat{\theta}_{OLS}$$

donde $\hat{\theta}_{OLS}$ es la estimación por mínimos cuadrados ordinarios utilizando todas las observaciones de la muestra de entrenamiento. En este caso, $x$ es sólo una entrada del usuario mientras que $\hat{\theta}$ debe ser estimada (con incertidumbre). La verdadera predicción es $f(x) = x \theta$ .

Esta notación básica nos permite responder a su pregunta

1. La expectativa es asumida $\boldsymbol{Z}$ que incluye todos los $(X,Y)$ en la muestra de entrenamiento.
2. El estimador $\hat{y}$ depende de las realizaciones de todos los $Z_i$ . Se obtendría un resultado diferente si se seleccionara al azar otra muestra de entrenamiento. Por lo tanto, $Var(\hat{y}) > 0$ .
3. Sí, el MSE es una función de una entrada determinista, $x$ . Sin embargo, recuerde que $\hat{y}$ es una función de $\mathbf{Z}$ y $x$ . La expectativa se integra sobre $\mathbf{Z}$ . No es necesario calcular una expectativa condicional.