La comprensión de sesgo de la varianza de compromiso de derivación

Question

Estoy leyendo el capítulo de sesgo de la varianza en el equilibrio de Los elementos de aprendizaje estadístico y tengo duda en la fórmula en la página 29. Deje que los datos surgen de un modelo que $$ Y = f(x)+\epsilon$$ where $\epsilon$ is random number with expected value $\hat{\epsilon} = E[\epsilon]=0$ and Variance $E[(\epsilon \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$. Deje que el valor esperado del error del modelo es $$ E[(Y-f_k(x))^2] $$ donde $f_k(x)$ es la predicción de $x$ de nuestros alumnos. Según el libro, el error es $$ E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)) $$

Mi pregunta es ¿por qué sesgo plazo no es 0? el desarrollo de la fórmula del error que yo veo $$ E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2 $$

como $\epsilon$ es independiente de números aleatorios $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

Dónde me he equivocado?

Answer 1

No está mal, pero cometió un error en un solo paso, ya que la $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$. $E[(f(x)-f_k(x))^2]$ es el $MSE(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$.

\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2 \end{align*}

Nota: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0$