¿Por qué la regresión polinómica se considera un caso especial de la regresión lineal múltiple?

Question

Si la regresión polinómica modela relaciones no lineales, ¿cómo puede considerarse un caso especial de la regresión lineal múltiple?

Wikipedia señala que "Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión $\mathbb{E}(y | x)$ es lineal en los parámetros desconocidos que se estiman a partir de los datos".

Cómo es la regresión polinómica lineal en los parámetros desconocidos si los parámetros son coeficientes de términos de orden $\ge$ 2?

Answer 1

Cuando se ajusta un modelo de regresión como $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ El modelo y el estimador OLS no "saben" que $x^2_i$ es simplemente el cuadrado de $x_i$ sólo "piensa" que es otra variable. Por supuesto, hay cierta colinealidad, y eso se incorpora al ajuste (por ejemplo, los errores estándar son mayores de lo que podrían ser), pero muchos pares de variables pueden ser algo colineales sin que una de ellas sea función de la otra.

No reconocemos que hay realmente dos variables separadas en el modelo, porque nosotros saber que $x^2_i$ es en definitiva la misma variable que $x_i$ que transformamos e incluimos para captar una relación curvilínea entre $x_i$ y $y_i$ . Ese conocimiento de la verdadera naturaleza de $x^2_i$ junto con nuestra creencia de que existe una relación curvilínea entre $x_i$ y $y_i$ es lo que nos dificulta entender la forma en que sigue siendo lineal desde la perspectiva del modelo. Además, visualizamos $x_i$ y $x^2_i$ juntos observando la proyección marginal de la función 3D sobre la 2D $x, y$ plano.

Si sólo tiene $x_i$ y $x^2_i$ En este caso, puedes intentar visualizarlos en el espacio 3D completo (aunque sigue siendo bastante difícil ver realmente lo que ocurre). Si se observa la función ajustada en el espacio 3D completo, se verá que la función ajustada es un plano 2D, y además que es un plano. Como digo, es difícil de ver bien porque el $x_i, x^2_i$ Los datos sólo existen a lo largo de una línea curva que atraviesa ese espacio 3D (ese hecho es la manifestación visual de su colinealidad). Podemos intentar hacerlo aquí. Imagina que este es el modelo ajustado:

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

Puede ser más fácil de ver en estas imágenes, que son capturas de pantalla de una figura 3D rotada hecha con los mismos datos usando el rgl paquete.

Cuando decimos que un modelo que es "lineal en los parámetros" es realmente lineal, no se trata de un simple sofisma matemático. Con $p$ variables, se está ajustando un $p$ -en un hiperplano de una dimensión $p\!+\!1$ -El hiperespacio es una dimensión (en nuestro ejemplo, un plano 2D en un espacio 3D). Ese hiperplano es realmente "plano" / "lineal"; no es sólo una metáfora.

Answer 2

Por tanto, un modelo lineal general es una función que es lineal en el parámetros desconocidos . Una regresión polinómica, por ejemplo $y = a + bx + cx^2$ es cuadrática en función de $x$ pero lineal en los coeficientes $a$ , $b$ y $c$ . De forma más general, un modelo lineal general puede expresarse como $y = \sum_{i=0}^N a_i h_i(x)$ donde el $h_i$ son funciones arbitrarias de entradas vectoriales $x$ - ver que el $h_i$ puede incluir cualquier término de interacción (entre componentes de $x$ ) y similares.

Answer 3

Considere un modelo $$ y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i. $$

Esto se puede reescribir $$ y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$$