la normalización efecto en la regresión polinomial

Question

Necesito saber por qué la entrada de la normalización tiene ningún efecto sobre la regresión polinomial. Aquí hay una buena explicación demostrando que la columna de normalización no afecta a la regresión lineal. Pero necesito saber si es el mismo Polinomio así.

p.s. Por normalizar me refiero, por ejemplo, dividiendo el número por el máximo en cada columna.

Gracias de antemano,

Answer 1

El polinomio (mínimos cuadrados) de regresión de los datos de $\newcommand{\y}{\mathrm{y}}\y$ (pensado como un $n$-vector $(y_i)$) en contra de una variable $\newcommand{\x}{\mathrm{x}}\x$ (también una $n$-vector ($x_i)$) utiliza las variables $\mathrm {1} = \x^0$ (una constante $n$-vector), $\x = \x^1$, $\x^2 = (x_i^2)$, ... y $\x^d = (x_i^d)$. El ajuste $\hat \y$ es la proyección de $\y$ en el lineal subespacio $E$ atravesado por estos $d+1$ variables.

Supongamos ahora que $\x$ está "normalizado" por medio de alguna transformación afín

$$\x^\prime = \alpha \x + \beta.$$

Si queremos volver a calcular las potencias de los componentes de la $\x^\prime$ encontramos (después de la expansión) que

$$x_i^{\prime k} = (\alpha x_i + \beta)^k = \sum_{j=0}^k c(k,j,\alpha,\beta)x_i^j$$

para un conjunto de números de $c(k,j,\alpha,\beta)$ (cuyos valores podemos escribir de forma explícita, pero los detalles no importan). Este exhibe todos los vectores $(x_i^{\prime k})$ como una combinación lineal de las $x^j$, $j$ variación de $0$ a través de nada más grande que $k$. Por otra parte, siempre $\alpha \ne 0$ podemos invertir este proceso señalando

$$\x = \frac{1}{\alpha} \x^\prime - \frac{\beta}{\alpha}$$

y de manera similar a ampliar las competencias de $\x$ en términos de potencias de $\x^\prime$. Por lo tanto, el subespacio generado por $\x^\prime$, y sus poderes a través de grado $d$ es el mismo subespacio $E$ a medida que se extendió por $\x$, y sus poderes a través de grado $d$. En consecuencia, la normalización no cambiar la descripción geométrica, donde el ajuste con ambos modelos es idéntico, QED.

---

Este argumento se generaliza, esencialmente sin cambio, para los casos en los que puede haber más de una variable (ampliado en un multivariante polinomio) así como otros no polinomio covariables incluidas en el modelo.