¿Por qué el error de reconstrucción del SVD truncado es igual a la suma de valores singulares al cuadrado?

Question

Vi esta fórmula en un libro de texto: norma de Frobenius al cuadrado de la matriz original $\mathbf X$ menos su SVD truncado $\mathbf X_k$ (que puede verse como el error de aproximación) es igual a la suma de valores singulares al cuadrado.

¿Por qué? ¿Cómo demostrarlo?

Answer 1

Dejemos que $$X = U\Sigma V^\prime$$ sea la SVD del $n\times r$ matriz $X$ . Sea $||\quad ||$ sea cualquier norma matricial que es invariante a la izquierda y a la derecha bajo transformaciones ortogonales (reflexiones y rotaciones); es decir, siempre que $P$ es un $n\times n$ matriz ortogonal o $Q$ es un $r\times r$ matriz ortogonal, entonces

$$||P^\prime X Q|| = ||X||.$$

Entonces, por la propia definición del SVD la ortogonalidad de $U$ y $V$ implica $$||U^\prime (X-A) V||^2 = ||\Sigma - U^\prime A V||^2.$$

Desde $A$ está formulado para hacer $U^\prime A V$ una matriz diagonal que coincide con la primera $k$ entradas de la matriz diagonal $\Sigma$ el lado derecho es simplemente la norma al cuadrado de $\Sigma$ después de esos $k$ Las entradas diagonales se han reducido a cero.

Para la norma de Frobenius (cuyo cuadrado es la suma de las entradas al cuadrado de su argumento), la norma al cuadrado de esta copia a cero de $\Sigma$ es la suma de los cuadrados de sus restantes entradas, precisamente

$$ ||\Sigma - U^\prime A V||^2 = \sum_{j=k+1}^r \delta_j^2.$$

Pero la norma de Frobenius obviamente es invariante bajo la multiplicación a la izquierda y a la derecha por matrices ortogonales, ya que la ortogonalidad por definición significa la preservación de la norma euclidiana y la norma de Frobenius (cuando se eleva al cuadrado) es a la vez (a) la suma de las normas euclidianas al cuadrado de las filas (y por lo tanto es invariante bajo la multiplicación a la izquierda, que preserva cada norma de fila) y (b) la suma de las normas euclidianas al cuadrado de las columnas (y por lo tanto es invariante bajo la multiplicación a la derecha, que preserva cada norma de columna).