Minimizar la expectativa de la función de pérdida

Question

Estaba leyendo Elementos de Aprendizaje Estadístico y encontré esto en la parte de Teoría de la Decisión Estadística.

No lo entendí.

El error de predicción esperado (al cuadrado) . Al condicionar a $X$ podemos escribir EPE como $$EPE(f) = E_x E_{y|x} ([Y f(X)]^2|X) \qquad (2.11)$$ y vemos que basta con minimizar el EPE puntualmente: $$f(x) = \operatorname{arg\,minc} E_{y|x} ([Y c]^2|X = x)$$

Puede alguien explicarme qué ha pasado exactamente aquí con fórmulas matemáticas adecuadas y algo de intuición también. ¿Es asumir que el condicionamiento sobre $x$ implica asumir $x$ para ser constante en algún sentido. Y si es posible, por favor, trate de explicar usando una densidad y la definición de expectativa.

Answer 1

Dado $X=x$ siempre se puede formar una función que puede tener un valor arbitrario $f(x)$ en $x$ . Obsérvese que la función no tiene por qué ser diferenciable en $x$ . Por eso el autor sustituyó $f(x)$ con $c$ que y minimizó la expresión sobre $c$ para obtener el valor óptimo de $f(x)$ que minimiza la pérdida cuando $X=x$ .

Por favor, comente si quiere que le muestre cómo los autores obtuvieron el valor óptimo $f(x) = E(Y|X=x)$ de la minimización en la segunda expresión.