¿El modelo de regresión lineal es lineal en las entradas o lineal en términos de su función de optimización que se minimiza para aprender los pesos?

Question

En varias publicaciones he visto que se afirman ambas cosas y ahora no sé cuál de las dos es cierta.

El que dice lineal en términos de pesos afirma que uno puede simplemente añadir términos de orden superior para las entradas y seguir aprendiendo modelos no lineales mientras que el problema de optimización sigue siendo lineal en términos de pesos.

Hay otros que afirman que es lineal en términos de entradas.

¿Alguien puede aclararlo?

Esto es lo que se dice en Elements of Statistical Learning :

Answer 1

Este post es bastante antiguo, así que quizás ya hayas solucionado este problema. Sin embargo, yo también me quedé atascado en el mismo problema y creo que ahora lo entiendo. Mi inuición siempre había sido que el modelo lineal en la entrada, por la razón de que a menudo pensamos en las entradas que se transforman para producir una salida que luego podemos calcular un error de y entrenar el modelo. Así que cuando vi por primera vez "lineal en los pesos" no tenía ningún sentido. Sin embargo, una persona señaló que, desde la perspectiva del propio algoritmo de aprendizaje, los datos (es decir, los X_j de tu ecuación) son fijos y no pueden cambiar. Las únicas variables relevantes son los pesos, que entrenamos. Por lo tanto, los datos de entrada desempeñan de algún modo el papel de coeficientes, y los pesos el de variables.

Answer 2

Recordemos que la linealidad se define del siguiente modo. Función $f$ es lineal si

$$f(\alpha x+\beta y)=\alpha f(x)+\beta f(y),$$

donde $f$ , $\alpha,\beta$ y $x,y$ son tales que esta ecuación tiene sentido.

El modelo de regresión lineal se define como

$$y_i=\sum_{i=1}^p\alpha_i x_i+\varepsilon_i,$$

que podemos escribir como

$$y_i=f(x_1,...,x_p)+\varepsilon_i=g(x_1,...,x_p,\varepsilon_i).$$

Ambos $f$ y $g$ son funciones lineales.

Ahora la función de optimización para la regresión lineal es

$$c(\alpha_1,...,\alpha_p)=\sum_{i=1}^n(y_i-f(x_1,...,x_p))^2.$$

No es una función lineal.

Espero que esto aclare un poco las cosas.