¿Existen aplicaciones útiles de SVD que utilicen solo los valores singulares más pequeños?

Question

En una serie de aplicaciones de descomposición en valores singulares (SVD), por ejemplo, el Indexado Semántico Latente, solo se utilizan los valores singulares más grandes para realizar búsquedas y calcular distancias.

¿Existen aplicaciones útiles que eliminen los valores singulares más grandes y utilicen solo los más pequeños?

Answer 1

• El análisis de características lentas (SFA) utiliza los eigenvalores más pequeños de la matriz de covarianza de las diferencias temporales para encontrar las características más lentas en una serie de tiempo,
• El análisis de componentes menores (MCA) utiliza los componentes más pequeños en un entorno probabilístico--aquí, no se encuentran direcciones de variaciones sino restricciones,
• El análisis de componentes extremas (XCA) es una combinación de PCA probabilístico y MCA,
• En el Análisis de Correlación Canónica (donde se analiza la correlación entre dos diferentes conjuntos de datos), los componentes más pequeños de la matriz de correlación corresponden a los llamados espacios "privados". Estos representan los subespacios de cada variable que no se correlacionan linealmente entre sí.

Answer 2

Actúa como un filtro de paso alto en un espacio ligeramente diferente.

Hay mucha data lineal, y en muchos casos estás buscando esa relación lineal, por lo que un filtro de paso bajo (alto bloqueo) te permite retener la parte importante.

Para datos no lineales, generalmente cosas a las que has aplicado métodos simples sin éxito, el paso alto significa que desechas la parte no importante (lineal).

Esto me hace pensar en la fotografía computacional y en el borde. Gracias.

Answer 3

La regresión de mínimos cuadrados totales (también conocida como regresión por distancia ortogonal) utiliza el vector singular que corresponde al menor valor singular de la matriz predictora/criterio aumentada.

Cuando solo hay una variable dependiente (es decir, cuando $k = 1$), tanto la ecuación 12.3-5 en mi Golub & Van Loan (primera edición), como la ecuación final y el código de Octave en la sección "Punto de vista algebraico" de la cuenta estándar, utilizan solo el vector singular que corresponde al menor valor singular para obtener el vector de coeficientes de regresión.

Answer 4

Es un poco exagerado, pero considera el problema de optimización de cartera: minimizar $w^{\top} \Sigma w$ sujeto a $w^{\top} w \ge 1$. Puedes pensar en esto como la cartera de varianza mínima con una restricción $\ell_2$. Después de aplicar el método de Multiplicador de Lagrange, descubres que $w$ debería ser el autovector asociado al valor propio más pequeño de $\Sigma$. Dado que $\Sigma$ típicamente es la covarianza muestral $(1/N) \sum_{1\le i\le N} X_i X_i^{\top}$, donde los $X_i$ han sido centrados, puedes ver este problema como un cálculo de SVD donde el vector singular asociado al valor singular más pequeño es importante. Como dije, es un poco exagerado.

Answer 5

No tengo conocimiento de ninguno. Los valores singulares más pequeños corresponden a modos que no contribuyen mucho a la reconstrucción de la matriz original, o para usar la interpretación de PCA, no describen mucha de la varianza en los datos. Normalmente, los modos con valores singulares más pequeños son simplemente ruido. Esto no descarta la posibilidad de que algo significativo pueda encontrarse en ellos, pero creo que sería altamente dependiente de los datos que conforman la matriz original y, honestamente, bastante improbable.