Comprender el concepto de $(X^TX)^{-1}X^Ty$

Question

$w = (X^TX)^{-1}X^Ty$

La ecuación de arriba produce peso $w$ que resuelve cuadrática problema de minimización de funciones lineales.

Desde mi entender, el objetivo es encontrar a $w$ tal forma que:

$Xw ≈ y$

Por lo tanto, tengo que minimizar la función:

$||Xw-y||^2$

De acuerdo a wikipedia, la norma Euclídea se utiliza para minimizar esta función:

$2X^T(Xw - y) = 0$

Luego de esta ecuación se diferencian con respecto de $w$, desde mi entender utilizamos multivariable regla de la cadena:

$X^TXw-X^Ty=0$

$X^TXw=X^Ty$

$w=(X^TX)^{-1}(X^Ty)$

De alguna manera, mediante la utilización de la norma Euclídea, yo minimiza la función, pero soy incapaz de entender cómo funciona exactamente el trabajo.

¿Por qué es la norma Euclídea utilizado para resolver cuadrática de minimización de problemas de funciones lineales?

Answer 1

La mejor manera de explicar, en mi opinión, es por proyección.

Desde $Xw = y$ no tiene una solución exacta buscamos $Xw = \bar y$ donde $\bar y$ es la proyección de $y$$Col(X)$.

El error es $e=y-\bar y=y-Xw$ y es miminized al $e$ es ortogonal a $Col(X)$ que es

$$X^Te=X^T(y-Xw)=0\implies X^Ty=X^TXw\implies w=(X^TX)^{-1}X^Ty$$

Answer 2

No estoy seguro de si esto es lo que está después, pero quizás vale la pena señalar:

Usted puede hacer la misma pregunta para cualquier norma que te gusta, no sólo la distancia Euclídea. Los cálculos son más convenientes cuando la norma proviene de un producto interior. Lo que se minimiza es $\|Xw-y\|$, por lo que cambiar la norma a menudo cambia el minimizer $w$. Lo que cambia para diferentes normas es que la transposición es reemplazar por el adjunto con respecto al producto interior.

Si el interior del producto en el dominio está dado por una matriz positiva definida $P$ y el uno el lado de destino por $Q$, entonces el minimizer es $w=(X^TQX)^{-1}X^TQy$, que es independiente de la $P$, ya que son sólo el uso de la norma en el espacio de destino. La distancia Euclídea caso de $P=I$$Q=I$.

Answer 3

La norma Euclídea es la cuadrática de la norma inducida por el producto escalar $$<x,y> = \sum_{k=1}^nx_k y_k \mbox{ for } x= (x_1 \ldots x_n)^T, \, y=(y_1 \ldots y_n)^T$$ $$ \Rightarrow ||x-y||^2 =<x-y,x-y> = \sum_{k=1}^n(x_k-y_k)^2$$

Así, no es de extrañar que cuadrática de optimización de problemas que involucran el concepto de ortogonalidad.

Por ejemplo, la mejor aproximación cuadrática $y_U$ dentro de un subespacio $U$ para un vector $y$ es la proyección ortogonal $P_Uy$ $y$ a $U$, debido a que para cualquier $x \in U$ tenemos: $$ ||x - y||^2 = ||x - P_Uy + P_Uy - y||^2 \stackrel{(P_Uy - y)\perp U}{=}||x - P_Uy||^2 + ||P_Uy - y||^2 \geq ||P_Uy - y||^2$$ Así, el cuadrático mínimo es alcanzado por $$y_U = P_Uy$$ En su ejemplo, usted sólo necesita saber que $X(X^TX)^{-1}X^T = P_U$ es el proyector ortogonal sobre el subespacio $U$ generado por las columnas de a $X$ (puede encontrar este, por ejemplo, aquí.):

$$y_U = P_Uy = X(X^TX)^{-1}X^Ty = Xw \mbox{ where } w= (X^TX)^{-1}X^Ty$$