¿El valor más pequeño posible de la norma?

Question

Los vectores $ \vec{u_1} = \begin{bmatrix} 1 \\ 1 \\ 1\\ 1 \end{bmatrix} $ y $ \vec{u_2} = \begin{bmatrix} 1 \\ -1 \\ 1\\ -1 \end{bmatrix} $ son ortonormales en $ \mathbb{R}^4$ .

En este ejercicio, debía encontrar las componentes paralela y normal del vector $ \vec{w} = \begin{bmatrix} 1 \\ 2 \\ -1\\ 2 \end{bmatrix} $ en relación con su tramo ( $\vec{u_1}, \vec{u_2}$ ).

Encontré que la componente paralela era (0, 2, 0, 2) y la componente normal era (1, 0, -1, 0).

En la siguiente parte del ejercicio se pregunta:

¿Cuál es el menor valor posible de la norma $||\vec{w}- \vec{v}|| $ si el vector $\vec{v}$ pertenece a su tramo: $ \vec{v} \in span(\vec{u_1}, \vec{u_2}$ ).

¿Podría alguien ayudarme con esta parte?

Answer 1

Probemos el enfoque de los legos:

$$\vec v=\begin{bmatrix}a+b\\a-b\\a+b\\a-b\end{bmatrix}\ \ (a,b\in \Bbb{R})$$ Tenemos que encontrar $$\min_{a,b}||\vec v-\vec w||$$ Compruebe que los valores de $a,b$ para lo cual $||\vec v-\vec w||$ será mínimo $=$ valores de $a,b$ para lo cual $||\vec v-\vec w||^2$ será mínimo. Ahora $$\min_{a,b}||\vec v-\vec w||^2\\=\min_{a,b}\{(a+b-1)^2+(a-b-2)^2+(a+b+1)^2+(a-b-2)^2\}\\=\min_{a,b}\{4a^2+4b^2+10-8a+8b\}\\=\min_{a,b}\{(2a-2)^2+(2b+2)^2+2\}=2 \ \ \ \text{for $ a=1,b=-1 $}\\\therefore\min{||\vec v-\vec w||=\sqrt 2}$$

¡BINGO!

Answer 2

Recordemos el siguiente hecho:

La proyección de un vector $\vec{w}\in\mathbb{R}^n$ en un subespacio $M\subset\mathbb{R}^n$ es el vector en $M$ más cercano a $\vec{w}$ .

En su caso, la proyección de $\vec{w}$ en $\textrm{span}\{\vec{u}_1,\vec{u}_2\}$ es el componente paralelo (denominado $\vec{w}_{||}$ ). Por lo tanto, el mínimo de $\|\vec{w}-\vec{v}\|$ donde $\vec{v}$ pertenece a $\textrm{span}\{\vec{u}_1,\vec{u}_2\}$ es $$\|\vec{w}-\vec{v}\|=\|\vec{w}-\vec{w}_{||}\|=\|\vec{w}_\perp\|, $$ donde $\vec{w}_\perp$ es el componente ortogonal que has encontrado. Por lo tanto, la respuesta es $\sqrt{2}$

Answer 3

Si $\mathrm v \in \mbox{span} (\mathrm u_1, \mathrm u_2)$ , entonces hay un $\mathrm x \in \mathbb R^2$ tal que $\mathrm U \mathrm x = \mathrm v$ donde las columnas de $\mathrm U$ son $\mathrm u_1$ y $\mathrm u_2$ . Sin embargo, $\mathrm w \notin \mbox{span} (\mathrm u_1, \mathrm u_2)$ . Así, tenemos un ejemplo del famoso Mínimos cuadrados problema

$$\begin{array}{ll} \text{minimize} & \| \mathrm U \mathrm x - \mathrm w \|_2^2 \end{array}$$

cuya solución es

$$\hat{\mathrm x} := (\mathrm U^T \mathrm U)^{-1} \mathrm U^T \mathrm w$$

El vector de error es

$$\mathrm w - \mathrm U \hat{\mathrm x} = \mathrm w - \mathrm U (\mathrm U^T \mathrm U)^{-1} \mathrm U^T \mathrm w = (\mathrm I_4 - \mathrm U (\mathrm U^T \mathrm U)^{-1} \mathrm U^T) \, \mathrm w$$

donde $\mathrm P := \mathrm U (\mathrm U^T \mathrm U)^{-1} \mathrm U^T$ es la matriz de proyección que se proyecta sobre el espacio de columnas de $\mathrm U$ .

Utilizando SymPy ,

>>> U = Matrix([[1, 1], [1, -1], [1, 1], [1, -1]])
>>> U
⎡1  1 ⎤
⎢     ⎥
⎢1  -1⎥
⎢     ⎥
⎢1  1 ⎥
⎢     ⎥
⎣1  -1⎦
>>> w = Matrix([1, 2, -1, 2])
>>> w
⎡1 ⎤
⎢  ⎥
⎢2 ⎥
⎢  ⎥
⎢-1⎥
⎢  ⎥
⎣2 ⎦
>>> P = U * (U.T * U)**-1 * U.T
>>> P
⎡1/2   0   1/2   0 ⎤
⎢                  ⎥
⎢ 0   1/2   0   1/2⎥
⎢                  ⎥
⎢1/2   0   1/2   0 ⎥
⎢                  ⎥
⎣ 0   1/2   0   1/2⎦
>>> (eye(4) - P) * w
⎡1 ⎤
⎢  ⎥
⎢0 ⎥
⎢  ⎥
⎢-1⎥
⎢  ⎥
⎣0 ⎦
>>> P * w
⎡0⎤
⎢ ⎥
⎢2⎥
⎢ ⎥
⎢0⎥
⎢ ⎥
⎣2⎦

El $2$ -La norma del vector de error es

$$\| \mathrm w - \mathrm U \hat{\mathrm x} \|_2 = \| (\mathrm I_4 - \mathrm U (\mathrm U^T \mathrm U)^{-1} \mathrm U^T) \, \mathrm w \|_2 = \| (\mathrm I_4 - \mathrm P) \, \mathrm w \|_2 = \sqrt 2$$