14 votos

¿Explicar los pasos del algoritmo LLE (incrustación lineal local)?

Entiendo el principio básico detrás del algoritmo para LLE consta de tres pasos.

  1. Encontrar la vecindad de cada punto de datos por parte de algunas métricas tales como k-nn.
  2. Encontrar los pesos para cada vecino que denotan el efecto que el vecino tiene en el punto de datos.
  3. Construir la baja dimensiones de la inclusión de los datos en base a la calculada pesos.

Pero el matemático explicación de los pasos 2 y 3 son confusos en todos los libros de texto y recursos en línea que he leído. Yo no soy capaz razón por la que las fórmulas que se utilizan.

Cómo son estos pasos que se realizan en la práctica? Es allí cualquier manera intuitiva de explicar las fórmulas matemáticas que utiliza?

Referencias: http://www.cs.nyu.edu/~roweis/lle/publications.html

12voto

M_1 Puntos 313

Local lineal incrustación de objetos (LLE) elimina la necesidad de calcular la distancia entre los objetos distantes y recupera global de la estructura no-lineal locales ajustes lineales. LLE es ventajoso porque no involucra parámetros tales como las tasas de aprendizaje o criterios de convergencia. LLE también funciona bien con la dimensionalidad intrínseca de $\mathbf{Y}$. La función objetivo para LLE es
\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^T (\mathbf{I}-\mathbf{W})^T (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation} La matriz de pesos $\mathbf{W}$ elementos $w_{ij}$ para los objetos de $i$ $j$ se ponen a cero si $j$ no es un vecino más cercano de $i$, de lo contrario, los pesos de los K-vecinos más cercanos de objeto $i$ se determina a través de un mínimo de cuadrados de \begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation} donde la variable dependiente $\mathbf{U}$ $K \times 1$ vector de, $\mathbf{G}$ $K \times K$ matriz de Gram para todos los vecinos más cercanos de objeto $i$, e $\boldsymbol{\beta}$ $K \times 1$ vector de pesos que se siga suma-a-la-unidad restricciones. Deje $\mathbf{D}$ ser simétrica positiva semidefinite $K \times K$ matriz de distancias para todos los pares de los K-vecinos más cercanos de $p$-dimensiones del objeto $\mathbf{x}_i$. Se puede demostrar que $\mathbf{G}$ es igual a la doble centrado en la matriz de distancias $\boldsymbol{\tau}$ con elementos \begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation} El $K$ los coeficientes de regresión se determina numéricamente utilizando \begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^T \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^T\mathbf{U}}. \end{equation} y son revisados para confirmar que suma a la unidad. Los valores de $\boldsymbol{\beta}$ están incrustados en fila $i$ $\mathbf{W}$ en las distintas ubicaciones de la columna correspondiente a los K-vecinos más cercanos de objeto $i$, así como la transposición de los elementos. Esto se repite para cada una de las $i$th objeto en el conjunto de datos. Merece destacar que si el número de vecinos más cercanos a $K$ es demasiado bajo, entonces $\mathbf{W}$ puede ser escasa causando eigenanalysis a ser difícil. Se observó que $K=9$ vecinos más cercanos resultado en $\mathbf{W}$ matrices que no contienen patologías durante eigenanalysis. La función objetivo se minimiza por encontrar el más pequeño distinto de cero autovalores de \begin{equation} (\mathbf{I}-\mathbf{W})^T(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation} La forma reducida de $\mathbf{X}$ está representado por $\mathbf{Y}=\mathbf{E}$ donde $\mathbf{E}$ tiene dimensiones de la $n \times 2$ basado en los dos últimos valores propios de a $\boldsymbol{\Lambda}$.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X