¿Funciona el método de regresión por mínimos cuadrados para cualquier tipo de línea?

Question

Hace poco aprendí a aplicar el método de los mínimos cuadrados para hacer una regresión lineal. También tengo entendido que se puede utilizar para la regresión cuadrática, minimizando el error para tres variables, dos coeficientes y una constante, en lugar de dos variables. ¿Se aplicaría el mismo método a la mayoría, o a todos los tipos de ecuaciones? ¿Podría simplemente asumir los coeficientes siempre que sea posible, y una constante, y luego encontrar la derivada parcial con respecto a cada uno, y luego ponerlos igual a cero y resolver? Por ejemplo, ¿podría hacer una regresión a *a*log(*b*x)+ c ? ¿Podría utilizar logaritmos, ondas sinusoidales, función exponencial, etc.? Si no, ¿cuáles son las excepciones? ¿Dónde no es posible este método? ¿Por qué?

Gracias de antemano por todas las respuestas.

Answer 1

Mi comentario anterior: Sí, pero entonces hay que distinguir entre mínimos cuadrados lineales y no lineales. Ambos se resuelven de forma diferente, dependiendo de la naturaleza de la relación.

En respuesta a su pregunta de un ejemplo, se dan algunos a continuación. Tenga en cuenta que utilizaré $a,\,b$ y $c$ como los coeficientes a determinar, $x$ como variable independiente/predictiva y $y$ como variable dependiente/de respuesta.

Ejemplos lineales: $$\begin{align} y&=a+bx\\ \ln y&=a+b\ln x \quad(\text{equivalent to the nonlinear form } y=e^ax^b)\\ y^2&=a+bx^2-ce^x \end{align}$$ Estos son lineal porque las ecuaciones son lineales en los coeficientes desconocidos.

Ejemplos no lineales: $$\begin{align} y&=ax^b+c\\ y&=a\sin\left(bx+c\right)\\ y&=\frac{x+a}{x+b}\quad(\text{equivalent to the linear form } ay-b=x-xy) \end{align}$$ Estos son no lineal porque las ecuaciones son no lineales en los coeficientes desconocidos.

Answer 2

Un comentario muy importante que ha hecho Daryl. Me llevó años darme cuenta de esto y no confundirme. La regresión lineal significa que la forma de ajuste debe ser lineal en las incógnitas (por ejemplo, $a,b,c,$ que está tratando de resolver). Puede haber no linealidad en la variable independiente $x$ . Así que para

$$y=ax^2+bx+c$$

se seguiría utilizando el ajuste lineal por mínimos cuadrados y sí se sigue llamando lineal. Esto no es un ajuste de cuadrados cuadráticos o algo así porque $a,b,c$ siguen siendo lineales. Si quisieras trabajar con algo como

$$y=\frac{ax+b}{cx+d}$$

o incluso algo como

$$y=\frac{a}{a+b}x$$

ahora no se puede utilizar el ajuste lineal por mínimos cuadrados. Ahora hay que utilizar un ajuste de mínimos cuadrados no lineal. El segundo es incluso lineal en $x$ pero no lineal en $a,b$ por lo que hay que utilizar mínimos cuadrados no lineales. Así que, en general, sólo hay dos categorías: ajuste lineal y no lineal por mínimos cuadrados.

Así que la respuesta a tu pregunta es que la no linealidad en $x$ no importa mientras tengas linealidad en los coeficientes desconocidos así que sí seno, logaritmo, exponencial, cualquier grado de polinomios en $x$ son todos buenos. Puedes utilizar los mínimos cuadrados lineales en ellos.

Pero por otro lado, el ejemplo que diste $a\log(bx)+c$ es no lineal en $b$ por lo que tiene que utilizar NLLSF en este formulario.

Por cierto, el NLLSF es un poquito más complicado que el LLSF. Es un tema muy interesante por sí mismo, pero requiere un poco más de conocimientos matemáticos. Puedes tener cosas como ninguna solución o un gran número de soluciones finitas o incluso infinitas. Normalmente los métodos no son exactos. Serán iterativos, lo que significa que no se puede obtener una respuesta exacta de una sola vez. Sólo se obtiene una aproximación. A veces es necesario proporcionar una conjetura inicial. Entonces ejecutas la iteración de nuevo para obtener una mejor aproximación y luego otra vez y te detienes cuando crees que tu respuesta es lo suficientemente buena. También puedes converger a una solución diferente dependiendo del punto de partida.

LLSF es bastante fácil, no se requiere ninguna conjetura inicial, la respuesta está garantizada (dados los puntos suficientes), la respuesta será única, la respuesta será exacta en una iteración, y también hay formas rápidas de hacerlo. La única cosa "mala" que encuentro molesta es que ya necesitas saber la forma de la función de ajuste como si fuera un polinomio o una función trigonométrica o un logaritmo por adelantado. Pero eso también lo necesitas con NLLSF.

Answer 3

Sí, puedes utilizar cualquier función, pero no se garantiza que los resultados tengan sentido. Además, tienes que tener al menos tantos puntos como parámetros.

Si la función es lineal en los parámetros, entonces se obtiene un sistema lineal de ecuaciones, que puede ser resuelto por los métodos habituales.

Si la función es no lineal en los parámetros, entonces se obtiene un sistema de ecuaciones no lineal que tiene que ser resuelto (normalmente) por iteración. En este caso, es bastante importante conseguir un buen punto de partida. Además, probablemente no merezca la pena escribir tu propio solucionador, ya que hay varios solucionadores de mínimos cuadrados no lineales disponibles.