3 votos

¿Cómo podría proyectar sobre una base no ortogonal?

El otro día estaba haciendo unos deberes de álgebra lineal y se me ocurrió una pregunta que nunca me había planteado: ¿cómo podría proyectar sobre un no -¿base ortogonal? Considera: $\newcommand\colv[1]{\begin{bmatrix}#1\end{bmatrix}}$ $$\vec{u}=\colv{1\\0\\-1\\0}, \vec{v}=\colv{1\\2\\3\\4}, \vec{w}=\colv{0\\1\\3\\-4}, \vec{b}=\colv{1\\1\\1\\1}$$ $$A=\text{Span}(\vec{u},\vec{v},\vec{w})\text{ and we want to find proj}_A\vec{b} $$

Obviamente, la fórmula de proyección ortogonal no funcionará porque la base no es ortogonal. Además, podríamos hacer fácilmente algo como Gram-Schmidt para hacer $\{\vec{u},\vec{v},\vec{w}\}$ ortogonal, pero sólo voy a explorar aquí. Aquí está mi intento:

Encuentre el $\hat{b}\in A$ que minimiza $\lVert\vec b - \hat b \rVert$ es decir, el vector en $A$ que está más cerca de $\vec b$ . Porque $\hat{b}\in A$ podemos reescribirlo como una combinación lineal: $$\hat{b}=c_u\vec u+c_v\vec v+c_w\vec w=\colv{c_u+c_v\\2c_v+c_w\\-c_u+3c_v+3c_w\\4c_v-4c_w}$$ $$\lVert\vec b - \hat b \rVert=\left| \left| \colv{1-c_u-c_v\\1-2c_v-c_w\\1+c_u-3c_v-3c_w\\1-4c_v+4c_w} \right| \right|=\sqrt{(1+c_u^2+c_v^2-2c_u-2c_v+2c_uc_v)+(1+4c_v^2+c_w^2-4c_v-2c_w+4c_vc_w)+(1+c_u^2+9c_v^2+9c_w^2+2c_u-6c_v-6c_w-6c_uc_v-6c_uc_w-18c_vc_w)+(1+16c_v^2+16c_w^2-8c_v+8c_w-32c_vc_w)}=\sqrt{4+2c_u^2+30c_v^2+26c_w^2-20c_v-4c_uc_v-46c_vc_w-6c_uc_w}$$

Porque el interior de la raíz cuadrada es el producto punto de $\vec b - \hat b$ con ella misma, estoy bastante seguro de que se puede asumir que ese polinomio nunca será negativo, y en combinación con el hecho de que la raíz cuadrada es una función monótona creciente, estoy bastante seguro de que podemos sacar la raíz cuadrada de la imagen (el mínimo de $\lVert\vec b - \hat b \rVert$ será el mismo que el mínimo de $\lVert\vec b - \hat b \rVert^2$ ). Lo mismo ocurre con la constante 4, pero eso ciertamente no ayuda mucho.

Genial, pero cualquier cosa que me hayan enseñado en MVC que pueda ayudarme a resolver esta cuestión, ciertamente se quedó dormida hace tiempo. Así que,
¿Cómo puedo minimizar este polinomio? $$2c_u^2+30c_v^2+26c_w^2-20c_v-4c_uc_v-46c_vc_w-6c_uc_w$$

Voy a jugar con la otra definición de la proyección. Podemos descomponer $\vec b$ en dos vectores $\hat b \in A$ y $a^{\perp} \in A^{\perp}$ , $\vec b=\hat b + a^{\perp}$
Bueno, sabemos que $\hat b$ puede escribirse como una combinación lineal de bases de $A$ y que $a^{\perp}$ será ortogonal a cada vector base de $A$ (sólo por razones de generalidad, cambie el nombre de los vectores base de $A$ para ser $\vec{v_i}$ del anterior $\vec{u},\vec{v},\vec{w}$ ). Esto nos da $$\langle a^{\perp}, \vec{v_j} \rangle = 0 \text{ for all j}$$ $$\langle \vec b - \sum_ic_i\vec{v_i}, \vec{v_j} \rangle = 0$$ $$\langle \sum_ic_i\vec{v_i},\vec{v_j} \rangle = \langle \vec b, \vec{v_j} \rangle$$ Si no me equivoco, esto se puede representar como una ecuación matricial $P\vec c=\vec d$ .

Dejemos que $P_{ij}=\langle \vec{v_i},\vec{v_j} \rangle$ , $\vec c_i = c_i$ , $\vec d_i=\langle \vec b,\vec{v_i} \rangle$

¿Es correcta esta representación?
Si es así, ¿en qué condiciones será coherente?

Por si acaso, lo probaré en mi ejemplo. $$\left[\begin{array}{rrr|r} \langle u,u\rangle & \langle u,v\rangle & \langle u,w\rangle & \langle b,u\rangle \\ \langle v,u\rangle & \langle v,v\rangle & \langle v,w\rangle & \langle b,v\rangle \\ \langle w,u\rangle & \langle w,v\rangle & \langle w,w\rangle & \langle b,w\rangle \end{array}\right]$$ Sólo con escribirlo se parece espeluznantemente a la fórmula de proyección ortogonal (cuando la base es ortogonal, supongo que los valores serían 0 fuera de la diagonal principal), así que tengo muchas esperanzas de que sea correcto, pero no tengo ni idea de si lo que he derivado es razonable. $$\left[\begin{array}{rrr|r} 2 & -2 & -3 & 0 \\ -2 & 30 & -5 & 10 \\ -3 & -5 & 26 & 0 \end{array}\right] \sim \left[\begin{array}{rrr|r} 1 & 0 & 0 & \frac{335}{538} \\ 0 & 1 & 0 & \frac{215}{538} \\ 0 & 0 & 1 & \frac{80}{538} \end{array}\right] $$ $$\hat b = \frac{335}{538}\vec u + \frac{215}{538}\vec v + \frac{80}{538}\vec w = \colv{\frac{275}{269} \\ \frac{255}{269} \\ \frac{275}{269} \\ \frac{270}{269}}$$ ¡Genial! Eso está muy cerca de $\vec b$ Así que espero que lo que he hecho sea correcto. Incluso si este método funciona, todavía estoy interesado en mi primer enfoque.

En una respuesta a esta pregunta, ¿podría abordar las cuestiones que he puesto en negrita?

2voto

Theo Bendit Puntos 2468

¿Cómo puedo minimizar este polinomio?

En primer lugar, hay un signo negativo extra en la derivación; hay un $18c_vc_w$ términos que deben ser positivos, no negativos, lo que significa que el polinomio que te interesa sería

$$2c_u^2+30c_v^2+26c_w^2-20c_v-4c_uc_v-\color{red}{10}c_vc_w-6c_uc_w.$$

El cálculo multivariable es probablemente el método más sencillo en este caso. Si dejamos que $$f(x, y, z) = 2x^2+30y^2+26z^2-20y-4xy-10yz-6xz,$$ entonces podemos calcular $$\nabla f(x, y, z) = (4x - 4y - 6z, 60y - 20 - 4x - 10z, 52z - 10y - 6x).$$ Por la geometría del problema, esperamos que haya un mínimo finito (alcanzado). Así, si el trabajo es hasta ahora correcto, entonces esperamos que haya un mínimo único de $f$ que se produce en un punto estacionario de $f$ que se produce cuando $\nabla f(c_u, c_v, c_w) = 0$ . Utilizando Wolfram Alpha la única solución posible es $$(c_u, c_v, c_w) = \left(\frac{335}{538},\frac{215}{538},\frac{40}{269}\right).$$ Esto coincide con tu segundo intento, así que es un gran voto de confianza.

¿Es correcta esta representación?
Si es así, ¿en qué condiciones será coherente?

Siempre será coherente. Siempre habrá un único punto más cercano (los conjuntos cerrados, no vacíos y convexos de los espacios de Hilbert admiten puntos únicos más cercanos), y dicho punto tiene que satisfacer las ecuaciones que has presentado. Si obtienes un sistema inconsistente, significa que tienes un error de cálculo.

Si los vectores $v_i$ que introduces en el sistema son linealmente dependientes, entonces tu método seguirá funcionando, excepto que obtendrás infinitas soluciones a tu sistema de ecuaciones. Sin embargo, el punto más cercano sigue siendo único, y cualquier elección de las infinitas soluciones producirá este mismo punto.

Este segundo método es otra forma de ver el método de mínimos cuadrados lineales ordinarios . Normalmente, el problema se plantea así: supongamos que tenemos un vector de columnas $y \in \Bbb{R}^m$ (un vector columna) que se desea proyectar sobre un subespacio de $\Bbb{R}^m$ abarcados por $v_1, \ldots, v_n$ . A continuación, forme la matriz $$A = \left(\begin{array}{c|c} &&&\\ v_1 & v_2 & \cdots & v_n \\ &&& \end{array}\right).$$ Ahora queremos proyectar $y$ en el espacio de las columnas, o lo que es lo mismo, minimizar $$\min_{x \in \Bbb{R}^n}\|Ax - y\|.$$ El método nos pide que tomemos la ecuación (normalmente inconsistente) $Ax = y$ y multiplicar ambos lados por $A^\top$ , dándonos la "ecuación normal": $$A^\top A x = A^\top y.$$ Si convirtieras esta ecuación en una matriz aumentada, obtendrías exactamente la matriz que has escrito: $$A^\top A = \left(\begin{array}{ccc} &v_1^\top&\\ \hline&v_2^\top&\\ \hline&\vdots& \\ \hline&v_n^\top& \end{array}\right) \left(\begin{array}{c|c} &&&\\ v_1 & v_2 & \cdots & v_n \\ &&& \end{array}\right) = \begin{pmatrix} v_1^\top v_1 & v_1^\top v_2 & \cdots & v_1^\top v_n \\ v_2^\top v_1 & v_2^\top v_2 & \cdots & v_2^\top v_n \\ \vdots & \vdots & \ddots & \vdots \\ v_n^\top v_1 & v_n^\top v_2 & \cdots & v_n^\top v_n \end{pmatrix},$$ y de manera similar, $$A^\top y = \begin{pmatrix} v_1^\top y \\ v_2^\top y \\ \vdots \\ v_n^\top y \end{pmatrix}.$$ Dado que $\langle v, w \rangle = v^\top w$ Esto es básicamente lo mismo que lo que has escrito.

Así que, como dije arriba, las ecuaciones normales son siempre consistentes. Si eliges que tu conjunto de extensión sea linealmente independiente, $A^\top A$ también será invertible, dando lugar a una única combinación lineal de columnas de $A$ que está más cerca de $y$ : $$x = (A^\top A)^{-1}A^\top y.$$ El punto más cercano es $$Ax = A(A^\top A)^{-1}A^\top y.$$

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X