Matriz de proyección ortogonal

Question

Sea $A\in M_{m\times n}(\mathbb{R})$. Denotando por $R(A)$ el espacio columna de $A$ y por $N(A)$ el espacio nulo de $A$.

Sé que

$z^*=Ax^*$ es una proyección de $b\in \mathbb{R}^m$ en $R(A)=N(A^T)$ donde $x^*=Ab$

$r^*=b-z^*$ es una proyección de $b\in \mathbb{R}^m$ en $N(A^T)=R(A)^\perp$

De manera similar

$z^*=A^Tx^*$ es una proyección de $b\in \mathbb{R}^n$ en $R(A^T)=N(A)^\perp$ donde $x^*=A^TAx=Ab$

$r^*=b-z^*$ es una proyección de $b\in \mathbb{R}^n$ en $N(A)=R(A^T)^\perp$

Finalmente, sé que la matriz de proyección ortogonal en el subespacio $R(A)$ está definida por $P=A(A^TA)^{-1}A^T$.

Mi pregunta es ¿cómo puedo determinar, por ejemplo, la matriz de proyección en $R(A^T), N(A^T), N(A)$?

EDICIÓN:* no significa nada, es solo la notación que utilicé

Answer 1

Si $A^+$ es la seudoinversa de Moore-Penrose de $A$, es decir, la matriz tal que $$\tag{1} a)\;AA^+A=A, \quad b)\;A^+AA^+=A^+, \quad c)\;(AA^+)^*=AA^+, \quad d)\;(A^+A)^*=A^+A,$$ entonces

• (i) $AA^+$ es el proyector ortogonal (OP) sobre el rango de $A$,
• (ii) $A^+A$ es OP sobre el rango de $A^*$.

Nota que si $Q$ es OP sobre un subespacio $S$, es decir, $Q=Q^*$ (aquí, $^*$ denota la transpuesta conjugada), $Q^2=Q$, y $R(Q)=S$ (nota que estas tres condiciones implican que $Q$ es único), entonces $I-Q$ es OP sobre $S^\perp$. Entonces, si (i) es verdadero, entonces $I-AA^+$ es OP sobre $R(A)^\perp=N(A^*)$ y, si (ii) es verdadero, entonces $I-A^+A$ es OP sobre $R(A^*)^\perp=N(A)$.

Para la demostración de (i) y (ii), usamos solamente (1) y el hecho de que si $X=YZ$, entonces $R(X)\subseteq R(Y)$. Solo necesitamos mostrar que las matrices $AA^+$ y $A^+A$ son Hermitianas, idempotentes y sus rangos son iguales a los subespacios sobre los cuales se suponen proyectar.

Tanto $AA^+$ como $A^+A$ son obviamente Hermitianas; ver (1c) y (1d). Además, (1a) y/o (1b) implican que son idempotentes. Queda por demostrar que $R(AA^+)=R(A)$ y $R(A^+A)=R(A^*)$. Claramente, $R(AA^+)\subseteq R(A)$; $R(A)\subseteq R(AA^+)$ sigue de (1a). De (1d), tenemos $A^+A=A^*(A^+)^*$, entonces $R(A^+A)\subseteq R(A^*)$. De (1a) y (1d), $A^*=A^+AA^*$, entonces $R(A^*)\subseteq R(A^+A)$.

Resumiendo, los siguientes son OPs:

• $AA^+$ en $R(A)$,
• $I-AA^+$ en $N(A^*)$,
• $A^+A$ en $R(A^*)$,
• $I-A^+A$ en $N(A)$.

Nota que esto es cierto sin importar cuál sea el rango de $A$. Mientras que para algunos $A$, $A^*A$ o $AA^*$ (o ambos) podrían no ser invertibles dependiendo del rango de $A$, cualquier $A$ siempre tiene una seudoinversa de Moore-Penrose única y un conjunto de OPs únicos dados arriba asociados con los cuatro subespacios de $A$.

Answer 2

Proyección sobre $\operatorname{col}(A)$

Comencemos desde el principio y deriva la matriz que proyecta un vector $b$ sobre el espacio de columnas de $A$, denotado $\operatorname{col}(A)$.

Sea $A$ un $m\times n$ que representa un subespacio de $n$ dimensiones en $\Bbb R^m$. Sea $b\in M_{m\times 1}(\Bbb R)$ donde $b$ no es necesariamente un elemento del subespacio $\operatorname{col}(A)$. Entonces podemos descomponer $b$ en partes paralelas y ortogonales a $\operatorname{col}(A)$:

$$b = b_\| + b_\bot$$

Si $P_{\operatorname{col}(A)}$ es la matriz de proyección que esperamos encontrar, entonces $b_\| = P_{\operatorname{col}(A)}b$ y $b_\bot = b-P_{\operatorname{col}(A)}b$. Si $A = \begin{bmatrix} a_1 & \cdots & a_n\end{bmatrix}$ (donde $a_i$ es la columna $i$ de $A$), entonces sabemos que $$b_\| = \kappa_1a_1 + \kappa_2a_2 + \cdots + \kappa_na_n = A\begin{bmatrix} \kappa_1 \\ \vdots \\ \kappa_n\end{bmatrix} = A\kappa$$

Y sabiendo que $\operatorname{col}(A)$ es ortogonal a $b_\bot$, también sabemos que $A^Tb_\bot = A^T(b-A\kappa)=0$. Por lo tanto, $A^Tb=A^TA\kappa$. Resolviendo para $\kappa$, obtenemos $$\kappa = (A^TA)^{-1}A^Tb$$ Notar que aquí $A^TA$ está garantizado de ser invertible por el hecho de que asumimos que las columnas de $A$ son linealmente independientes. Luego, si multiplicamos ambos lados por la izquierda por $A$, obtenemos $$b_\| = P_{\operatorname{col}(A)}b = A(A^TA)^{-1}A^Tb \\ \implies P_{\operatorname{col}(A)} = A(A^TA)^{-1}A^T$$

---

Proyección sobre $\operatorname{lnull}(A)$

Como el núcleo izquierdo de $A$ es el complemento ortogonal de su espacio de columnas, esencialmente solo queremos el $b_\bot$ de arriba. Por lo tanto $$P_{\operatorname{lnull}(A)}b = b_\bot = b-b_\| = I_mb - A(A^TA)^{-1}A^Tb = (I_m -A(A^TA)^{-1}A^T)b \\ \implies P_{\operatorname{lnull}(A)} = I_m -A(A^TA)^{-1}A^T$$

---

Desafortunadamente no podemos usar el enfoque anterior para encontrar la proyección sobre $\operatorname{row}(A)$ o $\operatorname{null}(A)$ porque mientras $A^TA$ es invertible, $AA^T$ NO lo es. Para encontrar estos, necesitarías usar la pseudoinversa -- que se describe en la respuesta de AlgebraicPavel.