¿Por qué obtener la suma de cuadrados en lugar de la suma de valores absolutos?

Question

Estoy estudiando por mi cuenta el aprendizaje automático y me estoy metiendo en los fundamentos de los modelos de regresión lineal. Por lo que entiendo hasta ahora, un buen modelo de regresión minimiza la suma de las diferencias al cuadrado entre los valores predichos $h(x)$ y los valores reales $y$ .

Algo como lo siguiente:

$$\sum_{i=1}^m (h(x_i)-y_i)^2$$

¿Por qué cuadramos las diferencias? Por un lado, parece que elevarlas al cuadrado nos permitirá obtener un número positivo cuando el valor esperado sea menor que el valor real. Pero, ¿por qué no se puede tener en cuenta esto simplemente tomando la suma de los valores absolutos?

Así:

$$\sum_{i=1}^m |h(x_i)-y_i|$$

Answer 1

Mira este sencillo ejemplo.

Dejemos que nuestro "modelo" sea $h(x):=\textrm{constant}$ . Llama a esta constante que estamos tratando de estimar h.

Caso cuadrado:

$$\min_{h\in \mathbb{R}}\sum_{i=1}^m (h-y_i)^2$$

tomar la derivada con respecto a $h$ y lo puso en $0$ $$\sum_{i=1}^m 2(h-y_i)=2h\sum_{i=1}^m 1-2\sum_{i=1}^my_i=2hm-2\sum_{i=1}^my_i=0$$

$$\Leftrightarrow$$

$$h=\frac{1}{m}\sum_{i=1}^my_i$$

que es la media.

Caso de valor absoluto:

La solución es la mediana

Son problemas diferentes. A veces la media es mejor que la mediana y viceversa. Matemáticamente, la primera solución es "más bonita", ya que tiene un analítica fórmula. Alguien me dijo que hay una fórmula recursiva para la mediana, pero incluso entonces se pierde la bonita propiedad matemática de ser analítica. Para un programador no creo que evaluar ninguna de las dos fórmulas sea un reto.