211 votos

Intuitivamente, ¿cuál es la diferencia entre Eigendecomposition y la Descomposición de Valor Singular?

Estoy tratando de comprender intuitivamente la diferencia entre la enfermedad vesicular porcina y eigendecomposition.

Desde mi entender, eigendecomposition trata de describir una transformación lineal como una secuencia de tres operaciones básicas ($P^{-1}DP$) en un vector:

  1. La rotación del sistema de coordenadas (cambio de base): $P$
  2. Independiente de escala a lo largo de cada base de vectores (de la rotada del sistema): $D$
  3. De rotación del sistema de coordenadas (deshacer cambio de base): $P^{-1}$

Pero por lo que puedo ver, SVD, el objetivo es hacer exactamente la misma cosa, excepto que resulta de la descomposición es de alguna manera diferente.

Entonces, ¿cuál es el conceptual de la diferencia entre los dos?

Por ejemplo:

  • Uno de ellos es más general que la de los otros?
  • Es un caso especial de la otra?

Nota: estoy buscando específicamente un intuitivo explicación, no un matemático.
Wikipedia ya es excelente para explicar la matemática de la relación entre las dos descomposiciones ("El derecho-vectores singulares de M son vectores propios de $M^*M$", por ejemplo), pero completamente no me dan ninguna comprensión intuitiva de lo que está pasando de forma intuitiva.

La mejor explicación que he encontrado hasta ahora es este uno, lo cual es genial, excepto que no habla de eigendecompositions en todo, lo que me deja confuso en cuanto a cómo SVD es diferente de la eigendecomposition en su objetivo.

140voto

bea Puntos 16

Considerar la eigendecomposition $A=P D P^{-1}$ y SVD $A=U \Sigma V^*$. Algunas de las principales diferencias son las siguientes,

  • Los vectores en el eigendecomposition matriz $P$ no son necesariamente ortogonales, por lo que el cambio de base no es una simple rotación. Por otro lado, los vectores en las matrices $U$ y $V$ en la enfermedad vesicular porcina son ortonormales, por lo que no representan rotaciones (y posiblemente volteretas).
  • En la enfermedad vesicular porcina, las nondiagonal matrices de $U$ y $V$ no son necessairily el inverso uno del otro. Normalmente no están relacionados el uno con el otro en todo. En el eigendecomposition la nondiagonal matrices $P$ y $P^{-1}$ son inversos el uno del otro.
  • En la SVD las entradas en la diagonal de la matriz $\Sigma$, son reales y no negativos. En el eigendecomposition, las entradas de $D$ puede ser cualquier número complejo - negativos, positivos, lo imaginario, lo que sea.
  • El SVD siempre existe para cualquier tipo de sección rectangular o cuadrada de la matriz, mientras que la eigendecomposition puede existe sólo para matrices cuadradas, e incluso entre las matrices cuadradas a veces no existe.

80voto

Max Robinson Puntos 41

Edit: Gracias, Juan, por la mejora de mi novato formato. Espero que haya una forma audaz de los vectores en el modo matemático; no he encontrado una manera de hacerlo todavía.

Creo que me puede dar una idea mucho más clara (y más corto) explicación de vectores singulares frente a vectores propios.

En primer lugar, os animo a ver un $m \times n)$ valor real de la matriz $A$ como un operador bilineal entre dos espacios; intuitivamente, un espacio que se encuentra a la izquierda ($R^m$) y el otro ($R^n$) a la derecha de $A$. "Bilineal" simplemente significa que $a$ es lineal en ambas direcciones (de izquierda a derecha o de derecha a izquierda). Las operaciones $$ puede realizar se limitan a escala, rotación y reflexión, y combinaciones de estos, o cualquier otro tipo de operación es no-lineal.

$A$ transforma los vectores entre los dos espacios a través de la multiplicación:

$x^T$ A = $y^T$ transforma a la izquierda del vector $$ x a la derecha del vector $y$.

$x = a$ y transforma a la derecha del vector $$ y a la izquierda vector de $x$.

El punto de descomposición de $A$ es identificar, o resaltar aspectos de la acción de $Un$ como un operador. El eigendecomposition de $Un$ aclara lo que $A$ no encontrar los autovalores y autovectores que satisfacen la restricción

$X = \lambda x$.

Esta restricción se identifica vectores (direcciones) que $a$ no gira, y los escalares $\lambda$ asociadas con cada una de las direcciones.

El problema con eigendecomposition es que cuando la izquierda y a la derecha el espacio son espacios diferentes, en realidad no hay un sentido en el que $A$'s de acción puede ser descrito como algo que implica una "rotación", debido a la izquierda y a la derecha espacios son totalmente independientes, no "orientada" el uno con relación al otro. Simplemente no hay manera de generalizar la noción de un eigendecomposition a un no-plaza de la matriz $A$.

Vectores singulares proporcionar una manera diferente para identificar los vectores de la acción de $A$ es simple; uno que hace generalizar al caso en que la izquierda y la derecha, los espacios son diferentes. Correspondiente par de vectores singulares tienen un escalar $\sigma$ que $Un$ escalas por la misma cantidad, si la transformación de la izquierda el espacio a la derecha del espacio o viceversa:

$ x^T = \sigma y^T$

$\sigma x = a y$.

Por lo tanto, eigendecomposition representa $A$ en términos de cómo las escalas de vectores no gire, mientras que la descomposición de valor singular representa $A$ en términos de los correspondientes vectores que se ajusta la escala de la misma, ya sea en movimiento de la izquierda a la derecha espacio o viceversa. Cuando la izquierda y la derecha, el espacio es el mismo (es decir, cuando $A$ es cuadrado), la descomposición de valor singular representa $A$ en términos de cómo se gira y se refleja vectores que $a$ y $A^T$ escala por la misma cantidad.

Mi original de la "respuesta" que se encuentra más abajo, sin embargo, espero que usted estará de acuerdo en que el de arriba es muy superior.


Tal vez sería de gran ayuda para tener una intuitiva (por que me refiero a un geométrica) explicación de lo singular vectores y vectores propios.

Un singular valor $s$ de un cuadrado ($n \times n$) de la matriz $A$ es un escalar distinto de cero para el que no existen vectores unitarios $x$ y $y$ que satisfacen las dos ecuaciones:

$A^T x = \sigma$ y y

$Y = \sigma$x.

$x$ y $y$ son la izquierda y la derecha vectores singulares, respectivamente, de $A$. Una interpretación geométrica de esto es la siguiente. Vamos a $u(t) = t x$ y $v(t) = t y$ ser las ecuaciones paramétricas de definir las líneas en la dirección de los vectores de $x$ y $y$, respectivamente. Entonces

$A^T u(t) = A^T tx = t^T x = t \sigma y = v(\sigma t)$,

$A v(t) = ty = t t t t t = t \sigma x = u(\sigma t)$.

En palabras, el operador bilineal $A$ es el siguiente: $A^T$ mapas de la línea $u(t)$ a de la línea $v(\sigma t)$, donde el cambio en el parámetro ($t$ $\sigma t$) significa "su velocidad a lo largo de la línea $v$ es multiplicado por $\sigma$". Del mismo modo, $Un$ mapas de la línea $v(t)$ a de la línea $u(\sigma t)$.

Los vectores propios de $Un$ tiene una interpretación diferente: dado cualquier vector de $x$,

(1) proyecto de $x$ en la autovectores de $Un$ (es decir, representan $x$ en el conjunto de los vectores de la base que son los vectores propios de A$$).

(2) la escala de cada componente proyectada de $x$ por el correspondiente vector propio; el vector resultante $y = x$ (pero $$ y está representado en el autovector).

(3) "de la onu-proyecto" el vector $$ y volver a la original sistema de coordenadas.

Por lo tanto, los vectores propios definir un nuevo conjunto de vectores de la base que a lo largo de la escala se produce; los vectores singulares definir líneas que $a$ mapas, uno para el otro.

Espero que ese es el tipo de respuesta intuitiva que usted estaba buscando. Sin duda, fue el tipo que me estaba buscando.

65voto

Andrew Whitehouse Puntos 1353

He encontrado una explicación clara para la enfermedad vesicular porcina aquí:

El SVD permite describir el efecto de una matriz en un vector (a través de la matriz-vector producto), como un proceso de tres pasos:

  1. Una primera rotación en el espacio de entrada
  2. Un simple positivo de escala que toma un vector en el espacio de entrada en el espacio de salida
  3. Y otro de rotación en el espacio de salida

49voto

muzzlator Puntos 5769

Intuitivamente, $SVD$ dice que para cualquier lineal mapa, hay un ortonormales marco en el dominio tal que primero se asignan a diferentes ortonormales marco en el espacio de imagen y, a continuación, los valores son a escala.

Eigendecomposition dice que hay una base, no tiene que ser ortonormales, de tal manera que cuando la matriz se aplica, esta base es simplemente una escala. Eso es suponiendo que usted tiene $n$ linealmente independiente de vectores propios de curso. En algunos casos, su subespacios propios puede tener el lineal mapa se comportan más como triangular superior de las matrices.

Edit: Considerar la diferencia de una matriz de rotación en $\mathbb{R}^2$.

Aquí, no hay autovalores y esto corresponde al hecho que no hay elección de la base de que en virtud de la transformación es simplemente una escala. Por otro lado, SVD tiene mucho sentido aquí porque dice que podemos tomar el estándar base en el dominio, el mapa es para la versión rotada de esta base (el pensamiento de que en la imagen de espacio), y la escala de todo por 1.

2voto

user13453 Puntos 16

Veo un problema con la pregunta. Lineal operador $A$ es es descomponible en $P^{-1}DP$, donde $D$ es una matriz diagonal si y sólo si $a$ es de rango completo. De lo contrario, $D$ ha no diagonal de la matriz en forma normal de Jordan.

La 'ventaja' de la SVD es que siempre 'diagonalizes' una matriz, incluso si no es cuadrado.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X