¿Cuál es la diferencia entre mínimos cuadrados y regresión lineal? ¿Es lo mismo?
Podemos argumentar que los ejemplos no lineales en la animación siguen siendo lineales en los parámetros.
Respuestas
¿Demasiados anuncios?
Mohammadreza
Puntos
1964
La regresión lineal asume una relación lineal entre la variable independiente y dependiente. No te dice cómo se ajusta el modelo. El ajuste de mínimos cuadrados es simplemente una de las posibilidades. Otros métodos para entrenar un modelo lineal están en el comentario.
Los mínimos cuadrados no lineales son comunes (https://es.wikipedia.org/wiki/Non-linear_least_squares). Por ejemplo, el popular algoritmo de Levenberg–Marquardt resuelve algo como:
$$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$$
Es una optimización de mínimos cuadrados pero el modelo no es lineal.
No son lo mismo.
kathystehl
Puntos
124
Además de la respuesta correcta de @Student T, quiero enfatizar que el método de mínimos cuadrados es una función de pérdida potencial para un problema de optimización, mientras que la regresión lineal es un problema de optimización.
Dado un cierto conjunto de datos, la regresión lineal se utiliza para encontrar la mejor función lineal posible, que explicará la conexión entre las variables.
En este caso, lo "mejor" posible está determinado por una función de pérdida, comparando los valores predichos de una función lineal con los valores reales en el conjunto de datos. Mínimos Cuadrados es una posible función de pérdida.
El artículo de Wikipedia de mínimos cuadrados también muestra imágenes en el lado derecho que muestran el uso de mínimos cuadrados para otros problemas que no sean regresión lineal, como:
- ajuste cónico
- ajuste de función cuadrática
El siguiente gif del artículo de Wikipedia muestra varias funciones polinómicas diferentes ajustadas a un conjunto de datos utilizando mínimos cuadrados. Solo una de ellas es lineal (polinomio de 1). Esto se toma del artículo de Wikipedia en alemán sobre el tema.
Verdadero, sin embargo, la relación del modelo entre el objetivo y la variable de entrada es no lineal. ¿Aún llamarías al ajuste "regresión lineal"? Yo no lo haría.
Debemos distinguir entre "mínimos cuadrados lineales" y "regresión lineal", ya que el adjetivo "lineal" en ambos se refiere a cosas diferentes. El primero se refiere a un ajuste que es lineal en los parámetros, y el segundo se refiere a ajustarse a un modelo que es una función lineal de la(s) variable(s) independiente(s).
4 votos
Diría que los mínimos cuadrados ordinarios son un método de estimación dentro de la categoría más amplia de regresión lineal. Es posible, sin embargo, que algún autor esté utilizando "mínimos cuadrados" y "regresión lineal" como si fueran intercambiables.
1 votos
Si estás usando mínimos cuadrados ordinarios, yo usaría ese término. Es menos ambiguo.
1 votos
Ver también qué es un modelo de regresión.