Mínimos cuadrados y factorización QR

Question

Tengo una matriz de rango completo de columnas $A \in \mathbb{R}^{N \times n} $ ( $N >> n$ ):

$Q^{T} A = \begin{bmatrix} R & w \\ 0 & v \\ \end{bmatrix} , Q^{T} = \begin{bmatrix} c \\ d \\ \end{bmatrix} $ ,

con $R \in \mathbb{R}^{(n-1)\times(n-1)}, w \in \mathbb{R}^{n-1}, v \in \mathbb{R}^{N-n+1}, c \in \mathbb{R}^{n-1}$ y $d \in \mathbb{R}^{N-n+1}$

Ahora tengo que demostrar que

$ \min_x ||Ax - b||^²_2 = ||d||^2_2 - (\frac{v^T d}{||v||_2})^2$

¿Alguien tiene idea de cómo enfocar esto? No sé cómo empezar con este problema.

Lo que sé es que con un problema estándar de mínimos cuadrados $\min_x ||y - Fx||_2^2$ con una factorización QR de $F$ y la aplicación de $Q^T$ a $y$

tiene la siguiente solución $\hat{x} = R^{-1} d_1$ y $||y-Fx||_2^2 = ||d_2||_2^2$

con $ \begin{bmatrix} Q_1^T \\ Q_2^T \\ \end{bmatrix} y = \begin{bmatrix} d1 \\ d2 \\ \end{bmatrix}$

¿Cómo reescribir las cosas para tener un formato más parecido a este?

Answer 1

$x \in R^n$ debe ser verdadera, de lo contrario las matrices no pueden restarse entre sí.

\begin{equation} \begin{split} \displaystyle \min_{x} ||Ax - b||_2^2 = \displaystyle \min_{x} ||Q^T(Ax - b)||_2^2 \\ = \displaystyle \min_{x} ||Q^TAx - Q^Tb||_2^2 \\ = \displaystyle \min_{x} || \begin{pmatrix} Rx & wx \\ 0 & vx \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||_2^2 \\ \fin{split} \fin{según la ecuación}

Esto se puede escribir como:

\begin{multline} \displaystyle \min_{x} || \begin{pmatrix} Rx & wx \\ 0 & vx \end{pmatrix} - \begin{pmatrix} 0 & 0 \\ 0 & vx \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||2^2 - \displaystyle \_min_{x} ||| \begin{pmatrix} 0 & 0 \\ 0 & vx \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||_2^2 \\ \fin{multline}

Resolviendo la primera parte de la ecuación 2 siguiendo el Teorema LSQR :

\begin{equation} \begin{split} \displaystyle \min_{x} || \begin{pmatrix} Rx & wx \\ 0 & vx \end{pmatrix} - \begin{pmatrix} 0 & 0 \\ 0 & vx \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||_2^2 \\ = \displaystyle \_min_{x} ||| \begin{pmatrix} Rx & wx \\ 0 & 0 \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||_2^2 \\ = ||d||_2^2 \fin{split} \Fin de la ecuación.

Luego se resuelve la segunda parte de la ecuación 2 siguiendo el teorema LS:

\begin{equation} \begin{split} \displaystyle \min_{x} || \begin{pmatrix} 0 & 0 \\ 0 & vx \end{pmatrix} - \begin{pmatrix} c \\ d \end{pmatrix} ||_2^2 \\ = \displaystyle \min_{x} || vx - d||_2^2 \\\\\2 = ((v^Tv)^{-1}v^td)^2 = \left(\frac{v^Td}{||v|_2}right)^2 \nd{split} \N - fin{ecuación}

Sustituyendo las ecuaciones 3 y 4 en la ecuación 2 se obtiene la respuesta solicitada.

\begin{equation} \displaystyle \min_{x} ||Ax - b||_2^2 = ||d||_2^2 - \left(\frac{v^Td}{||v||_2}\right)^2 \end{equation}

¿Hay alguna posibilidad de que sea un estudiante de la Universidad Técnica de Delft que se dedique al filtrado y la identificación? Ya que tuve el mismo ejercicio exacto como tarea :). Esto es lo que creo que funciona, no es la mejor explicación. Todavía está borroso en mi propia cabeza. Además tengo dudas de que sea $\left(\frac{v^Td}{||v||_2}\right)^2$ porque esperaría que fuera $\frac{v^Td}{||v||_2^2}$ . Tal vez tengas alguna idea al respecto. Buena suerte y hazme saber si crees que se puede escribir mejor.