Método de mínimos cuadrados: ¿Por qué se prefiere?

Question

Posibles Duplicados:
¿Por qué usamos un Mínimo de Cuadrados?

Para encontrar las ecuaciones normales para la derivación de la línea de regresión se utiliza el método de mínimos cuadrados, queremos hacer que el error más pequeño para cada individuo,por lo que podemos tomar la suma de la mod del término de error para cada individuo, en lugar de tomar la suma de los cuadrados de los errores de los individuos. ¿Por qué es el antiguo método utilizado para la regresión y no la segunda?

Answer 1

No es cierto que la suma mínima de errores absolutos nunca se use. Los mínimos cuadrados se utilizan porque es equivalente a la máxima probabilidad cuando los residuales del modelo se distribuyen normalmente con la media 0. Pero cuando la distribución del término de error no es normal, especialmente si tiene colas gruesas, las estimaciones de mínimos cuadrados no son las mejores y los procedimientos robustos tales como suma mínima de errores absolutos son preferibles.

Answer 2

La respuesta real es que, en muchos casos, la menor suma de cuadrados de errores tiene una solución óptima simple, mientras que otras funciones de pérdida tienen soluciones óptimas con una forma complicada que necesitan aproximarse numéricamente.

Answer 3

Además de todas las razones dadas en las otras respuestas, considere que en comparación con la suma de los valores absolutos de los errores, la suma de los errores cuadrados da mayor peso a los errores grandes y menos a los errores pequeños. Esto se debe a que $$ x ^ 2> | x | ~~ \ text {if} ~~ 1 <| x | <\ infty, \\ x ^ 2 <| x | ~~ \ text {if} ~~ 0 <| x | <1. $$ Esto afecta el ajuste de la línea de regresión en formas que algunos podrían considerar más deseables.

Answer 4

Porque preferimos muchos pequeños errores a lo largo de un gran error.

Físicamente, esto es debido a que una pequeña cantidad de ruido presente en los datos, por lo que una pequeña desviación en todas partes solo se espera.

Así que, técnicamente, un análisis de regresión proporciona un modelo de sea cual sea el modelo que ya tenía, además de un poco de ruido en todos los datos.

Un gran error en un punto específico, sin embargo, indica que el silencioso modelo en realidad no se ajuste a los datos, ya que las grandes errores no son típicos para el ruido. Esta es la razón por la que caben en contra de la hipótesis de que los grandes errores es raro.