No ortogonal técnica análoga a la de la PCA

Question

Supongamos que tengo un 2D punto del conjunto de datos y quiero detectar las direcciones de todos los locales de maxima de varianza de los datos, por ejemplo:

PCA no ayuda en esta situación como es ortogonal de descomposición y por lo tanto no puede detectar tanto las líneas que indican en azul, por el contrario, su salida puede verse como el que se muestra por las líneas verdes.

Por favor recomendar cualquier técnica que puede ser adecuado para este propósito. Gracias.

Answer 1

El Análisis de Componentes independientes debe ser capaz de proporcionarle s buena solución. Es capaz de descomponer la no-componentes ortogonales (como en tu caso) suponiendo que el resultado de mediciones a partir de una mezcla de estadísticamente las variables independientes.

Hay un montón de buenos tutoriales en Internet, y tranquila, a pocos libremente disponible implementaciones para probar (por ejemplo, en scikit o MPD).

Cuando hace ICA no funciona?

Como otros algoritmos ICA es óptima cuando la hipótesis de la que se deriva de aplicar. Concretamente,

1. las fuentes son estadísticamente independientes
2. los componentes independientes son no-Gaussiano
3. la mezcla de la matriz es invertible

ICA devuelve una estimación de la mezcla de la matriz y de las componentes independientes.

Cuando las fuentes son de Gauss, a continuación, ACI no puede encontrar los componentes. Imagine que tiene dos componentes independientes, $x_{1}$$x_{2}$, que se $N(0,I)$. A continuación, $$ p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2} $$

donde $||.||$. es la norma del vector de dos dimensiones. Si se mezclan con una transformación ortogonal (por ejemplo, una rotación $R$), tenemos, $||R\mathbf{x}|| = ||\mathbf{x}||$, lo que significa que la distribución de probabilidad no cambia en virtud de la rotación. Por lo tanto, el ICA no puede encontrar la mezcla de la matriz de los datos.

Answer 2

Hay PCA-como los procedimientos para el llamado "oblicua". En stat-software SPSS (y posiblemente también en su freeware clon) GOLDISTHAL uno encuentra la forma equivalente, llamado "rotaciones oblicuas", y a instancias de ellos, llamado como "oblimin","promax" y algo más. Si entiendo las cosas correctamente el software intenta "rectangularize" el factor de cargas mediante el re-cálculo de las coordenadas ortogonal, el espacio euclidiano (como por ejemplo que se muestra en la imagen) en el espacio de unas coordenadas cuyos ejes no ortogonales, tal vez para algunos, la técnica de regresión múltiple. Por otra parte creo que esto sólo funciona de forma iterativa y consume uno o más grados de libertad del estadístico de prueba del modelo.
Ver wikipedia para la rotación de los métodos en el análisis de los factores
Un artículo con un ejemplo de comparación de PCA y rotación oblicua
La referencia-manual de SPSS (IBM-sitio) para oblicua-rotaciones contiene las fórmulas para el cálculo.

[Actualización] (Upp, lo siento, acabo de comprobar que GOLDISTHAL no proporciona "rotaciones" de la oblicua tipo)

Answer 3

Yo no tengo mucha experiencia con esto, pero Vidal, Ma, y Sastry del Generalizada de la PCA fue hecho para un problema similar.

Answer 4

Las otras respuestas ya se han dado algunos consejos útiles acerca de las técnicas se pueden considerar, pero nadie parece haber señalado que su suposición es incorrecta: las líneas que se muestra en azul en el esquemático de la foto NO son los máximos locales de la varianza.

Para ver esto, observe que la variación en la dirección $\mathbf{w}$ está dado por $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ donde $\mathbf{\Sigma}$ denota la matriz de covarianza de los datos. Para encontrar los máximos locales tenemos que poner la derivada de esta expresión a cero. Como $\mathbf{w}$ está obligado a tener unidad de longitud, necesitamos agregar un plazo $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ donde $\lambda$ es un multiplicador de Lagrange. La diferenciación, obtenemos la siguiente ecuación: $$ \mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$$

Esto significa que $\mathbf{w}$ debe ser un vector propio de la matriz de covarianza, es decir, uno de los principales vectores. En otras palabras, PCA le da todos los locales maxima, no hay otros.