vectores minimizadores

Question

¿Podría comprobar si mi solución es correcta?
Q. $$A=\begin{pmatrix} 1 & 1 \\ 1 & 1 \\ 0 & 0 \\ \end{pmatrix}$$ Hallar el conjunto de vectores $x$ que minimicen el valor $$|| A x- \begin{pmatrix} 1 \\ 2 \\ 3 \\ \end{pmatrix}||$$

Mi solución.
$Ax-(1,2,3)^T=0$ método de los mínimos cuadrados (incoherente)
$A^TAx=A^Tb$ , $b=(1,2,3)^T$
$$ \begin{pmatrix} 2 & 2 \\ 2 & 2 \ \end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \\ \end{pmatrix}=\begin{pmatrix} 3 \\ 3 \\ \end{pmatrix}$$

$2x_1+2x_2=3$ $x_2=-x_1+1.5$
Por lo tanto, el conjunto de $x$ es { $ \begin{pmatrix} k \\ -k+1.5 \\ \end{pmatrix}$ | k }

Answer 1

Yo utilizaría un método más "básico".

Escribiendo el vector x como $\begin{pmatrix}x \\ y \end{pmatrix}$ , $Ax= \begin{pmatrix}1 & 1 \\ 1 & 1 \\ 0 & 0\end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix}= \begin{pmatrix} x+ y \\ x+ y \\ 0 \end{pmatrix}$ para que $Ax- \begin{pmatrix}1 \\ 2 \\ 3 \end{pmatrix}= \begin{pmatrix}x+ y- 1 \\ x+ y- 2 \\ -3\end{pmatrix}$ .

La norma de eso es $\sqrt{(x+ y- 1)^2+ (x+ y- 2)^2+ 9}$ . Escribiendo eso como f(x,y), tenemos $f_x= (1/2)((x+ y- 1)^2+ (x+ y- 2)^2+ 9)^{-1/2}[(2(x+y-1)+ 2(x+ y- 2)]= 0$ y $f_y= (1/2)((x+ y- 1)^2+ (x+ y- 2)^2+ 9)^{-1/2}[(2(x+y-1)+ 2(x+ y- 2)]= 0$ . Ambos se reducen a $2[(x+ y- 1)+ 2(x+ y- 2)]= 4x+ 4y- 6= 0$ . La función se minimizará en cualquier punto de la recta $x+ y= \frac{3}{2}$ . Es decir, $y= \frac{3}{2}- x$ que es exactamente lo que tienes.

Answer 2

Planteamiento del problema

Dada la matriz $$ \mathbf{A} = \left[ \begin{array}{cc} 1 & 1 \\ 1 & 1 \\ 0 & 0 \\ \end{array} \right] \in \mathbb{C}^{m\times n}_{\rho} $$ y el vector de datos $$ b = \left[ \begin{array}{cc} 1 \\ 2 \\ 3 \\ \end{array} \right] $$ encontrar la solución de mínimos cuadrados $$ x_{LS} = \left\{ x\in\mathbb{C}^{n} \colon \lVert \mathbf{A} x - b \rVert_{2}^{2} \text{ is minimized} \right\} $$

Solución

La solución general al problema de mínimos cuadrados es $$ x_{LS} = \color{blue}{\mathbf{A}^{+} b} + \color{red}{ \left( \mathbf{I}_{n} - \mathbf{A}^{+} \mathbf{A} \right) y}, \quad y \in \mathbb{C}^{n} \tag{1} $$ donde los colores distinguen $\color{blue}{range}$ y $\color{red}{null}$ espacios.

La sencilla estructura de la matriz $\mathbf{A}$ fomenta una solución utilizando la pseudoinversa construida a partir de la descomposición de valores singulares (SVD).

Descomposición del valor singular

La SVD es sencilla: $$ \mathbf{A} = \mathbf{U} \, \Sigma \, \mathbf{V}^{*} \tag{2} $$

Resolver el eigensistema para $$ \mathbf{W} = \mathbf{A}^{*} \mathbf{A} = \left[ \begin{array}{cc} 2 & 2 \\ 2 & 2 \\ \end{array} \right] $$

Valores singulares

Los valores propios son $$ \lambda \left( \mathbf{W} \right) = \left\{ 4, 0 \right\} $$ La matriz $\mathbf{A}$ tiene rango $\rho=1$ y el único valor singular es $$ \sigma_{1} = \sqrt{\lambda_{1}} = 2 $$ La matriz de valores singulares es $$ \mathbf{S} = \left[ \begin{array}{c} 2 \end{array} \right] $$ y la matriz sabot es $$ \Sigma = \left[ \begin{array}{c} \mathbf{S} & 0 \\ \mathbf{0} & \mathbf{0} \end{array} \right] = \left[ \begin{array}{c} 2 & 0 \\ 0 & 0 \\ 0 & 0 \\ \end{array} \right] $$

Matriz de dominios $\mathbf{V}$

Los vectores propios normalizados de $\mathbf{W}$ son los vectores columna de $\mathbf{V}$ :

$$ \mathbf{V} = \frac{1}{\sqrt{2}} \left[ \begin{array}{cr} \color{blue}{1} & \color{red}{-1} \\ \color{blue}{1} & \color{red}{1} \\ \end{array} \right] $$

Matriz de dominios $\mathbf{U}$

Ecuación $(2)$ puede reescribirse para proporcionar el $\color{blue}{range}$ vector espacial para $\mathbf{U}$ :

$$ \mathbf{U}_{1} = \frac{1}{\sqrt{2}} \color{blue}{\left[ \begin{array}{r} 1 \\ 0 \\ -1 \end{array} \right]} $$ Para este sencillo problema, podemos calcular a ojo el $\color{red}{null}$ vectores espaciales. $$ \mathbf{U} = \left[ \begin{array}{ccc} % \frac{1}{\sqrt{2}} \color{blue}{\left[ \begin{array}{r} 1 \\ 0 \\ -1 \end{array} \right]} & % \frac{1}{\sqrt{2}} \color{red}{\left[ \begin{array}{r} 1 \\ 0 \\ 1 \end{array} \right]} & % \color{red}{\left[ \begin{array}{c} 0 \\ 1 \\ 0 \end{array} \right]} % \end{array} \right] $$

Pseudoinverso

La matriz pseudoinversa es $$ \mathbf{A}^{+} = \mathbf{V} \, \Sigma^{+} \mathbf{U}^{*} = \frac{1}{4} \left[ \begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ \end{array} \right] $$

Solución de mínimos cuadrados

Ecuación $(1)$ proporciona $$ x_{LS} = \color{blue}{\mathbf{A}^{+} b} + \color{red}{ \left( \mathbf{I}_{n} - \mathbf{A}^{+} \mathbf{A} \right) y} = \color{blue}{ \frac{3}{4} \left[ \begin{array}{ccc} 1 \\ 1 \\ \end{array} \right] } + \color{red}{ \left[ \begin{array}{rr} 1 & -1 \\ -1 & 1 \\ \end{array} \right] y } , \quad y \in \mathbb{C}^{2} $$

Parcela

El siguiente gráfico muestra la función de mérito por mínimos cuadrados $\lVert \mathbf{A} x - b \rVert_{2}^{2} $ en función de $x$ . El punto blanco representa $\color{blue}{x_{LS}}$ la línea amarilla discontinua $\color{red}{x_{LS}}$ .