¿Hay una interpretación intuitiva de $A^TA$?

Question

Para una matriz de datos $A$, parece que $A^TA$ juega un papel importante en las estadísticas. Por ejemplo, es una parte importante de la solución analítica de mínimos cuadrados ordinarios. O PCA, sus autovectores son los componentes principales de los datos.

¿Entiendo cómo calcular $A^TA$, pero me preguntaba si hay una interpretación intuitiva de lo que esta matriz representa, que conduce a su importancia?

Answer 1

Geométricamente, la matriz de $\bf A'A$ se denomina matriz de productos escalares (= punto de los productos, de = interior de los productos). Algebraicamente, se llama suma de cuadrados-y-cruz-de productos de la matriz (SSCP). Un $i$-ésimo elemento de la diagonal es $\Sigma a_{(i)}^2$ donde $a_{(i)}$ valores en $i$-ésima columna de a $\bf A$ $\Sigma$ es la suma de las filas. Mientras que un $ij$th fuera de la diagonal elemento en el mismo, se $\Sigma a_{(i)}a_{(j)}$.

Hay un número de importante de la asociación de los coeficientes y sus matrices cuadradas que se basan en él y se llama angular similitudes o SSCP tipo de similitudes:

• Si el centro de las columnas (variables) de $\bf A$, $\bf A'A$ es la dispersión (o co-dispersión, si para ser riguroso) de la matriz y $\mathbf {A'A}/(n-1)$ es la covarianza de la matriz.
• Si usted z-estandarizar las columnas de a $\bf A$ (restar la columna de la media y dividir por la desviación estándar), a continuación, $\mathbf {A'A}/(n-1)$ es el de Pearson correlación de la matriz de correlación es de covarianza para la normalización de las variables. La correlación es también llamado coeficiente de linealidad.
• Si la unidadde la escala de columnas de a $\bf A$ (traer sus SS, suma de cuadrados, a 1), a continuación, $\bf A'A$ es el coseno de la matriz. Coseno es también llamado coeficiente de proporcionalidad.
• Si usted center y, a continuación, la unidadde escala de las columnas de a$\bf A$, $\bf A'A$ es de nuevo la correlación de la matriz, debido a que la correlación es coseno para centrados en variables.
• Mientras estamos en el coeficiente de proporcionalidad (coseno) vamos a mencionar también el coeficiente de identidad [Zegers & ten Berge, 1985], también basado en el de $\bf A'A$, para rematar. Puede ser 1 si y sólo si el ser en comparación con las columnas de a $\bf A$ son idénticas. Mientras que el coseno entre dos columnas $x$$y$$\frac{\Sigma{xy}}{\sqrt{\Sigma x^2\Sigma y^2}}$, coeficiente de identidad tiene su denominador en forma de media aritmética en lugar de la media geométrica: $\frac{\Sigma{xy}}{(\Sigma x^2+\Sigma y^2)/2}$.

Answer 2

La matriz $A^TA$ contiene todo el interior de los productos de todas las columnas en $A$. La diagonal que contiene los cuadrados de las normas de columnas. Si usted piensa acerca de la geometría ortogonal y proyecciones en la columna espacio generado por las columnas de a $A$ usted puede recordar que las normas y el interior de los productos de los vectores que abarca este espacio juegan un papel central en el cálculo de la proyección. Menos de cuadrados de la regresión de componentes principales puede ser entendido en términos de proyecciones ortogonales.

También tenga en cuenta que si las columnas de a $A$ son ortonormales, formando así un ortonormales base para el espacio columna de a, entonces $A^TA = I$ $-$ la matriz de identidad.

Answer 3

@NRH dio una buena respuesta técnica.

Si quieres algo realmente básico, usted puede pensar $A^TA$ como el equivalente de la matriz de $A^2$ por un escalar.