Seguimiento de simétrica positiva semidefinite de la matriz cuando diagonalized (como una forma bilineal) en un no-ortogonal base

Question

Deje $\mathbf{S}$ ser simétrica positiva semidefinite matriz (es decir, uno con todos los autovalores reales y no negativos). Entonces existe una matriz ortogonal $\mathbf{U}$ (con sus columnas forman una base ortonormales) tal que $\mathbf{U}^\top \mathbf{S} \mathbf{U}$ es la diagonal; esta base es de curso dado por los vectores propios de a $\mathbf{S}$.

Considere la posibilidad de otra base $\mathbf{V}$ consta de unidad de longitud, pero no ortogonal de vectores (de modo que las columnas de a $\mathbf{V}$ tiene unidad de longitud, pero no son ortogonales) que también diagonalizes $\mathbf{S}$, es decir, $\mathbf{V}^\top \mathbf{S} \mathbf{V}$ es diagonal.

Tengo la sospecha de que se cumple lo siguiente: $\mathrm{Tr}(\mathbf{V}^\top \mathbf{S} \mathbf{V}) \le \mathrm{Tr}(\mathbf{S})=\mathrm{Tr}(\mathbf{U}^\top \mathbf{S} \mathbf{U})$. Es esto cierto? Si es así, ¿cómo puede ser demostrado?

Por otra parte, es cierto que la igualdad se alcanza si V es ortogonal?

Actualización: Tras cierta confusión en los comentarios, me gustaría aclarar que estoy pensando en $\mathbf{S}$ a representar una forma bilineal, no de una forma lineal. Así que con un cambio de base se transforma como $\mathbf{V}^\top \mathbf{S} \mathbf{V}$ e no $\mathbf{V}^{-1} \mathbf{S} \mathbf{V}$.

---

Actualización 2

Permítanme ilustrar dónde esta pregunta viene de; podría brindar una mayor intuición. $\mathbf{S}$ es en realidad una matriz de covarianza de algunos datos (es decir, tengo un conjunto de puntos de datos $\mathbf{x}_i \in \mathbb{R}^N$, e $\mathbf{S} = \sum_i \mathbf{x}_i \mathbf{x}_i^\top$, hasta un factor constante). Seguimiento de $\mathbf{S}$ es la variación total de los datos, y, por supuesto, se mantiene el mismo si el sistema de coordenadas girado. Ahora para cualquier vector unitario $\mathbf{v}$, la variación de la proyección de los datos en el eje definido por este vector es igual a $\mathbf{v}^\top\mathbf{S}\mathbf{v}$. Si me tome $N$ ortogonal de vectores unitarios, entonces la suma de estas desviaciones es igual a la varianza total. Estoy interesado en la situación cuando me tome $N$ no-ortogonal de vectores unitarios, pero ellos son los elegidos de tal manera que todas las proyecciones de los datos sobre estos vectores tienen una correlación cero (o covarianza). Esta condición es equivalente a $\mathbf{V}^\top \mathbf{S} \mathbf{V}$ diagonal. Esto significa que mis proyecciones son "independientes"; por lo tanto estoy bastante seguro de que sus varianzas juntos no puede superar el total de la varianza total de la varianza debe dar la máxima cantidad de varianza que puede ser "distribuido" entre componentes independientes (con un máximo que se logra con componentes principales).

Answer 1

Denota el producto escalar de los vectores $v,u$$(v,u)$, la norma del vector $v$$\|v\|=\sqrt{(v,v)}$.

Lema 1. Deje $A$ ser simétrica positiva operador en $\mathbb{R}^n$, $f\in \mathbb{R}^n$ ser un vector. A continuación,$(Af,f)\cdot (A^{-1} f,f)\geq \|f\|^4$.

Prueba. Deje $A=B^2$ donde $B=\sqrt{A}$ es positivo. Entonces $(Af,f)=(B^2f,f)=(Bf,Bf)=\| Bf\|^2$, $(A^{-1}f,f)=\|B^{-1}f\|^2$ y tenemos que demostrar $\|Bf\|\cdot \|B^{-1} f\|\geq \|f\|^2$, pero, por el Cauchy-Schwarz desigualdad, $\|Bf\|\cdot \|B^{-1} f\| \geq (Bf, B^{-1} f)=(f,f)=\|f\|^2$, como se desee.

Lema 2. Si por alguna positivo simétrica matriz $A$ elementos de la diagonal son iguales a 1, entonces para $A^{-1}$ elementos de la diagonal son no menos de 1.

Prueba. Aplicar el Lema de 1 a vectores de la base.

Supongamos ahora que $U:=V^TSV={\rm diag}(c_1,\dots,c_n)$. A continuación,${\rm tr}\, V^T SV=\sum c_i$, $${\rm tr}\, S={\rm tr}\, V^TS(V^T)^{-1}={\rm tr}\, V^TSV (V^T V)^{-1}={\rm tr}\, U F^{-1},$$ donde $F=V^TV$ es simétrica positiva de la matriz con la unidad de elementos de la diagonal. Entonces, por el Lema 2 elementos de la diagonal $w_1,\dots,w_n$ $F^{-1}$ son no menos de $1$${\rm tr}\, S=\sum c_i w_i\geq \sum c_i={\rm tr}\, U$.