Encuentre el vector unitario dentro de un subespacio con la proyección de norma mínima sobre otro subespacio

Question

Deje $W$ e $V$ ser subespacios de $\mathbb{R}^n$ con dimensiones de $m$ e $p$ respectivamente. Quiero encontrar el vector unitario en $W$ cuya proyección en $V$ tiene el mínimo de la norma Euclídea. De la intuición geométrica tengo entendido que la solución puede ser único a un cambio de signo (como cuando el $W$ e $V$ son dos planos en $\mathbb{R}^3$), pero las soluciones que también podría residir en un hyperplane (como cuando se $W$ es un plano y $V$ es una línea perpendicular).

He tratado de resolver este problema mediante la resolución de la siguiente limitada de optimización. Deje $\mathbf{w}_1,...,\mathbf{w}_m$ ser una base para $W$, vamos a $M \in \mathbf{R}^{n x m}$ con $M = [\mathbf{w}_1 \cdots \mathbf{w}_m]$, y deje $P \in \mathbb{R}^{nxn}$ y ser la matriz de proyección para $V$. El problema es encontrar

$argmin_\mathbf{x}$ $||P M \mathbf{x}||^2$ sujeto a $||M \mathbf{x}||^2 = 1$. Para solucionar esto he encontrado los puntos críticos de la Lagrangiana.

\begin{align*} \mathcal{L}(\mathbf{x}, \lambda) = ||P M \mathbf{x}||^2 - \lambda (||M\mathbf{x}||^2 - 1) \end{align*}

Lo que me da

\begin{align*} \frac{\partial}{\partial \mathbf{x}} \mathcal{L}(\mathbf{x}, \lambda) = \mathbf{x}^T M^T P^T P M - \lambda \mathbf{x}^T M^T M &= 0 \\ M^T P^T P M \mathbf{x} = \lambda M^T M \mathbf{x} \end{align*}

Yo inicialmente calculadas este derivado incorrectamente. Esto implica que una solución es un vector propio de a$P^TP$. Ahora voy a comprobar esto.

Answer 1

Es un resultado estándar que una forma cuadrática alcanza su valor mínimo en una unidad de hyperphere en la dirección de los vectores propios de la forma cuadrática con el mínimo autovalor. Aquí, la forma cuadrática en cuestión es $$\|PM\mathbf x\|^2 = \mathbf x^T(M^TP^TPM)\mathbf x.$$ If we're careful to choose $M$ such that $\|\mathbf x\|=1\implica\|M\mathbf x\|=1$, then the solutions carry over to the hyperspace $M\mathbf x$. For your example, if we take for $M$ the obvious orthonormal coordinate system of $W$, the central matrix ends up being $\operatorname{diag}\left(\frac12,1\right)$ so the minimal-length projection is obtained along $\mathbf x=\lambda(1,0)^T$, which corresponds to $(1,0,0)$ and $(-1,0,0)$ in the standard coordinate system of $\mathbb R^3$, como se esperaba.

Entonces, ¿qué salió mal? Cuando la conclusión de que $(P-\lambda I)M\mathbf x = 0$ implica que $M\mathbf x$ debe ser un autovector de a$P$, que ignora la restricción implícita $M\mathbf x\in W$. Los vectores propios de a$P$ mentira ya sea en $V$ sí (autovalor $1$) o $V^\perp$ (autovalor $0$). En tu ejemplo, $V\cap W$ es no trivial, que es la razón por la que encontró al máximo-la proyección de la unidad de vectores en $W$ que se vectores propios de a$P$, pero $V^\perp\cap W = \{0\}$, así que no hay ninguna esperanza de encontrar mínimamente-la proyección de la unidad de vectores de $W$ entre los vectores propios de a$P$.

---

Has actualizado tu pregunta con una ecuación corregida derivados de la Lagrangiana, pero sigues haciendo esencialmente el mismo tipo de error: no se puede concluir a partir de la última ecuación que $M\mathbf x$ debe ser un autovector de a$P^TP$. De hecho, $P$ es simétrico (es $I$ menos de una proyección en un único vector), por lo tanto, $P^TP=P^2=P$, por lo que está a la derecha de nuevo donde estaba antes de la actualización.

Answer 2

Tenga en cuenta que $M^T M$ es invertible (como las columnas de M son linealmente independientes y $M^T M$ tiene el mismo rango que $M$). Así, $$ M^T P^T P M \mathbf{x} = \lambda M^T M \mathbf{x} $$ implica $$ (M^T M)^{-1}M^T P^T P M \mathbf{x} = \lambda \mathbf{x} $$ Así que usted puede restringir el mismo a los vectores propios de a$(M^T M)^{-1}M^T P^T P M$ es decir, $(M^T M)^{-1}M^T P M.$