¿Cómo puede explicar la descomposición de valor Singular para no especialistas?

Question

Estoy dando una presentación en dos días acerca de un motor de búsqueda que he estado haciendo el verano pasado, y mi investigación consistió en el uso de la descomposición de valor singular, o en otras palabras, $A=U\Sigma V^T$. Tomé un curso de preparatoria en Álgebra Lineal el año pasado, pero el curso no era muy completo, y aunque sé cómo encontrar el SVD de la matriz, no sé cómo explicar lo que tengo en mis manos después de que la matriz se ha descompuesto.

Para alguien que ha tomado álgebra lineal, puedo decir que me puede descomponer una matriz en la matriz $\Sigma$, cuya diagonal que contiene los valores singulares, y las matrices de $U$ y $V$ cuyas columnas representan a la izquierda y a la derecha vectores singulares de la matriz $A$. No estoy seguro de cómo explicar lo que es un valor singular o lo que la izquierda/derecha vectores singulares. Todavía puedo ser satisfechos si no hay ninguna manera fácil de explicar lo que esta descomposición significa, pero yo siempre prefiero mantener a la audiencia tan informado como sea posible.

Answer 1

Mucho de álgebra lineal es aproximadamente lineal de operadores, es decir, transformaciones lineales de un espacio para sí mismo. Un resultado típico es que al elegir una base adecuada para el espacio, el operador puede ser expresado en una simple forma de matriz, por ejemplo, en diagonal. Sin embargo, esto no se aplica a todos los operadores.

La descomposición de valor singular es el único resultado principal acerca de las transformaciones lineales entre dos espacios diferentes. Se dice que mediante la elección adecuada de las bases para los espacios, la transformación puede ser expresada en una simple forma de la matriz, una matriz diagonal. Y esto funciona para todas las transformaciones lineales. Por otra parte, las bases son muy buenos: bases ortogonales.

Geométricamente, la enfermedad vesicular porcina significa que las esferas de la justa dimensión en el dominio transformado en elipsoides en el codominio. Dado que la transformación no puede ser inyectiva, la dimensión de la elipsoide es en la mayoría de la dimensión de la esfera. Así que usted consigue algo de distorsión a lo largo de unos ejes y algunas colapso a lo largo de otros ejes. Y esa es toda la transformación. Cada transformación lineal.

Answer 2

Esta respuesta se intenta dar una algebraica simple intuición. Supongamos que $A$ es un $m \times n$ real de la matriz. Let A $=U\Sigma V^T$ ser el SVD de $A$. Supongamos que el rango de $A$ es igual a $r.$ A continuación, los primeros $r$ valores singulares va a ser distinto de cero, mientras que el resto de los valores singulares de a cero.

Si escribimos $U=[u_1 | \cdots | u_n]$ y $V=[v_1| \cdots | v_m]$, donde $u_i$ es el $i^{th}$ columna de $U$ (y lo mismo para $v_j$), entonces $A= \sum_{i=1}^r \sigma_i u_i v_i^T$, donde $\sigma_i$ es el $i^{th}$ de valor singular. Esto muestra que la transformación lineal $$ se puede descomponer en la suma ponderada de las transformaciones lineales $u_i v_i^T$, cada uno de los cuales tiene el rango de $1$.

Un gran valor singular de $\sigma_k$ le indican que la contribución de la correspondiente transformación $u_k v_k^T$ es grande y una pequeña de valor singular, indican que la contribución de la acción de $A$ es pequeño. Como una aplicación de esta intuición, hay casos que, por ejemplo, $A$ es un completo rango de la plaza de la matriz, por lo tanto no tiene ningún cero valores singulares, sin embargo un umbral elegido y todos los términos en la suma de $A= \sum_{i=1}^r \sigma_i u_i v_i^T$ correspondientes a los valores singulares de a menos que este umbral se descartan. En ese sentido, de $A$ es aproximada por una simple matriz $\tilde{A}$, cuyo comportamiento es, para fines prácticos, esencialmente el mismo que el de la matriz original.

También podría ayudar a visualizar la acción de $Un$ en un vector de $x$, por medio de la fórmula anterior: $Ax = \sum_{i=1}^r (\sigma_i\langle v_i,x\rangle) u_i $. Observe que la imagen de $x$ es una combinación lineal de los vectores de $u_i$ y los coeficientes dependen de la magnitud de los correspondientes valores singulares así como las direcciones de los vectores $v_i$ con respecto a $x$. Por ejemplo, si $x$ es ortogonal a todos los $v_i$ para $i$ tal que $\sigma_i \neq 0$, entonces $Ax=0$. Por otro lado, si $x=v_k$ $k$ tal que $\sigma_k \neq 0$, entonces $Av_k = \sigma_k u_k$.

Answer 3

1. Una manera de explicar la derivación de la enfermedad vesicular porcina, como mínimo a un público que ya conoce a algunos de álgebra lineal, es que el SVD de la matriz $A$ (que puede ser no-cuadrado) proviene de diagonalizing la plaza, Hermitian matriz $$ \begin{bmatrix} O & a \\ A^{\ast} & O \end{bmatrix}, $$ donde $O$ denota una matriz cero de el tamaño adecuado. Entonces los vectores propios de la matriz está dada por el par $(u_i, \bar{v}_i)$, con autovalores $\sigma_i$, entonces $u_i$ y $v_i$ están a su izquierda y a la derecha vectores singulares, y de esta forma la enfermedad vesicular porcina $A = U \V Sigma^{\ast}$. En particular, los vectores singulares deben obedecer las ecuaciones $$ Av_i = \sigma_i u_i, \quad A^{\ast} u_i = \sigma_i v_i$$

2. Si se quiere explicar lo que el SVD significa intuitivamente, creo que la mejor manera de explicar es pensar de los vectores singulares $u,v$ como base orthogonalizing el dominio y el codominio de la transformación lineal, respectivamente, de manera que se alinee con la forma de la matriz $A$ "alcanza" su rango. El mayor valor singular, $\sigma_1$, corresponde a la forma óptima para aproximar el comportamiento de $A$ por una de rango-1 de la matriz, y este comportamiento es precisamente dada por $Av_1 = \sigma_1 u_1$. Del mismo modo, si desea aproximado de $$ por un rango de-2 de la matriz, entonces el comportamiento subyacente está dada por $$A(c_1 v_1 + c_2 v_2) = c_1 \sigma_1 u_1 + c_2 \sigma_2 u_2.$$ En general, el uso de la $k$ más grande de valores propios y sus correspondientes vectores singulares le da una mejor manera de explicar el comportamiento de $A$ el uso de sólo un rango de $k$ operador. Además, el tamaño de los valores singulares dice cómo $A$ se "expande" de longitud a lo largo de diferentes direcciones.

Answer 4

La mejor manera de explicar SVD para un profano es una manera de combinar información de varios vectores (probable) correlacionadas y formación de vectores de la base que están garantizados para ser ortogonales en el espacio dimensional más alto y explican la mayor parte de la varianza de los datos.

Ahora que he escrito todo, no puede ser tan fácil de explicar a alguien :)

Answer 5

Revisa mi respuesta stackoverflow que intenta explicar qué reducción de dimensionalidad significa un laico.