¿Por qué molestarse con aproximaciones de bajo rango?

Question

Si tienes una matriz con $n$ filas y $m$ columnas, puedes usar SVD u otros métodos para calcular una aproximación de rango bajo de la matriz dada. Sin embargo, la aproximación de rango bajo seguirá teniendo $n$ filas y $m$ columnas. ¿Cómo pueden ser útiles las aproximaciones de rango bajo para el aprendizaje automático y el procesamiento del lenguaje natural, dado que te quedas con el mismo número de características?

Answer 1

Una aproximación de rango bajo $\hat{X}$ de $X$ se puede descomponer en una raíz cuadrada de matriz como $G=U_{r}\lambda_{r}^\frac{1}{2}$ donde la descomposición de eigen de $X$ es $U\lambda U^T$, reduciendo así el número de características, que pueden ser representadas por $G$ basadas en la aproximación de rango-r como $\hat{X}=GG^T$. Tenga en cuenta que el subíndice $r$ representa el número de eigen-vectores y eigen-valores utilizados en la aproximación. Por lo tanto, reduce el número de características para representar los datos. En algunos ejemplos, las aproximaciones de rango bajo se consideran como expansiones basadas en base o variables latentes (diccionario) de los datos originales, bajo restricciones especiales como ortogonalidad, no negatividad (factorización de matriz no negativa), etc.

Answer 2

El objetivo de la aproximación de rango bajo no es necesariamente solo para realizar una reducción de dimensiones.

La idea es que, basándose en el conocimiento del dominio, los datos/entradas de la matriz de alguna manera harán que la matriz sea de rango bajo. Pero esto es en el caso ideal donde las entradas no se ven afectadas por ruido, corrupción, valores faltantes, etc. La matriz observada típicamente tendrá un rango mucho más alto.

Por lo tanto, la aproximación de rango bajo es una forma de recuperar la "original" (la matriz "ideal" antes de que se viera afectada por ruido, etc.) matriz de rango bajo, es decir, encontrar la matriz que es más consistente (en términos de entradas observadas) con la matriz actual y tiene un rango bajo para que pueda ser utilizada como una aproximación a la matriz ideal. Una vez recuperada esta matriz, podemos usarla como un sustituto de la versión ruidosa y, con suerte, obtener mejores resultados.

Answer 3

Dos razones más que no se han mencionado hasta ahora:

1. Reducir la colinearidad. Creo que la mayoría de estas técnicas eliminan la colinearidad, lo cual puede ser útil para el procesamiento posterior.

2. Nuestras imaginaciones son de baja dimensionalidad, por lo que puede ser útil para explorar relaciones de baja dimensionalidad.

Answer 4

Una vez que hayas decidido el rango de la aproximación (digamos $r

Answer 5

Según "Técnicas estadísticas multivariadas modernas (Izenman)" la regresión de rango reducido abarca varios métodos interesantes como casos especiales, incluyendo el PCA, análisis factorial, variante canónica y análisis de correlación, LDA y análisis de correspondencia