Intuitivamente (concretamente en realidad) lo que sucede cuando se multiplica una matriz por su transpuesta?

Question

La construcción $A^TA$ $A$ cualquier matriz de $m \times n$ parece aparecer a menudo en fórmulas y resultados. Por ejemplo estaba leyendo eso raíz cuadrada de valores propios $A^TA$ ($n \times n$ matriz) son singulares valores de $A$. Si lo hago en papel parece como la diagonal contiene cuadrados y las diagonales des contengan todas las posibles combinaciones cuadráticas (y por supuesto simétrico). ¿Qué es una buena manera de pensar de este constructo o cómo se usa que en la declaración de valor singular?

Answer 1

Deje $\langle v, w \rangle$ ser el producto escalar usual en $\mathbb{R}^n$. Entonces cualquier bilineal simétrica forma en $\mathbb{R}^n$ puede ser únicamente representado en la forma $\langle v, Bw \rangle$ donde $B$ es algunos matriz simétrica. (Es una buena idea para ver explícitamente cómo los coeficientes de $B$ determinar los coeficientes de la correspondiente forma cuadrática $\langle v, Bv \rangle$, que se puede considerar como la determinación de una elipse $\langle v, Bv \rangle = 1$.)

En particular, cuando el cambio de coordenadas de modo que el antiguo vectores $v$ son reemplazados por nuevos vectores $Av$ para algunos matriz $A$, entonces el producto escalar se comporta en los nuevos vectores como

$$\langle Av, Aw \rangle = \langle v, A^T A w \rangle$$

por lo $A^T A$ es una matriz que describe una forma bilineal relacionados con el producto escalar por el cambio de coordenadas. Más concretamente, se puede pensar de $A^T A$ como describir los coeficientes de una ecuación de una elipse $\langle Av, Av \rangle = 1$ relacionados con el ámbito de la unidad de $\langle v, v \rangle = 1$ por un cambio de coordenadas.

Answer 2

$A^TA$ es el tipo de operador de proyección en el espacio de la fila o coimage espacio (sin normalización), mientras que $A^+A$ es el proyector 'real', donde $A^+$ el pseudoinverse de $A$. En realidad, cuando la izquierda % inversa $A_L^{-1}$existe (fila de la columna completa), $A^+=A_L^{-1}=(A^TA)^{-1}A^T$.

Answer 3

Una forma particularmente buena de pensar de esta construcción es como un objeto que se comporta de la manera que ésos fórmula a menudo visto y resultados necesitan cosas para comportarse. :)

OMI, muchos de esos comportamientos se asemejan a "cuadrado las normas", $A^T A$ un mejor candidato para una función cuadrática de $A$ $A^2$ es. Esto es especialmente así cuando se consideran matrices complejas y utilizar conjugado transponer en lugar de transponer. O si ve $A$ como un conjunto de vectores columna.