Mapas autoorganizados frente a k-means, cuando el SOM tiene muchos nodos

Question

En Wikipedia dice:

Se ha demostrado que, mientras que los mapas autoorganizativos con un pequeño número de nodos se comportan de forma similar a k-means, los mapas autoorganizativos más grandes reorganizan los datos de forma fundamentalmente topológica.

¿Qué significa eso exactamente? He entendido la primera parte: Un SOM con nodos pequeños se comporta como un algoritmo k-means. Pero en el caso de un SOM más grande, ¿qué significa "fundamentalmente de carácter topológico"? Para mí no tiene sentido.

Así que básicamente mis preguntas son:

1. ¿Qué es "...de carácter fundamentalmente topológico..."?
2. ¿Cuál es la diferencia entre un SOM y k-means, cuando el SOM tiene un número elevado de nodos?

Answer 1

La idea que subyace a un SOM es la de mapear vectores de alta dimensión en un espacio de menor dimensión (normalmente bidimensional). Se puede pensar en ello como una agrupación, como en K-means, con la diferencia añadida de que los vectores que están cerca en el espacio de alta dimensión también acaban siendo asignados a nodos que están cerca en el espacio bidimensional.

Por lo tanto, se dice que los SOM "preservan la topología" de los datos originales, porque las distancias en el espacio bidimensional reflejan las del espacio de alta dimensión. K-means también agrupa puntos de datos similares, pero su "representación" final es difícil de visualizar porque no está en un formato bidimensional conveniente.

Un ejemplo típico es el de los colores, donde cada uno de los puntos de datos son vectores tridimensionales que representan los colores R,G,B. Cuando se mapea en un SOM 2D, se pueden ver regiones de colores similares, que es la topología del espacio de color. Me gusta este tutorial como explicación, con fragmentos de código añadidos.

Answer 2

Ya has aceptado una respuesta, pero creo que hay que aclarar esa parte de la respuesta...

Un SOM es siempre de naturaleza topológica. Esencialmente, se trata de incrustar un colector 2D en el espacio de mayor dimensión de sus datos.

A nivel intuitivo, tanto k-means como SOM desplazan los nodos hacia las zonas más densas de su espacio. Con k-means, los nodos se mueven libremente, sin relación directa entre ellos. Y un nodo que es responsable de cero o un punto de datos es degenerado y el algoritmo k-means debe evitar esta situación.

Con SOM, cuando un nodo se mueve hacia los datos, arrastra consigo a los nodos vecinos en el colector 2D. Esto mantiene naturalmente una topología incrustada en el espacio de datos. Y un nodo puede ser responsable de 0 o 1 puntos de datos sin ningún problema. (Estos nodos están sentados en el espacio vacío, arrastrados por sus vecinos en todas las direcciones. En cierto sentido, podrían ser un artefacto de un colector, pero en otro sentido están interpolando entre un espacio más denso).

Así que no hay ningún tipo de cambio de fase en el que un SOM pase de no topológico a topológico. Más bien, a medida que aumenta el número de nodos del SOM, se obtiene un colector de mayor resolución.

Si ajustas un SOM de 2x3 (6 nodos) a los datos de Iris, obtendrás algo mucho más parecido a k-means con 6 nodos que si ajustas un SOM de 10x15 (150 nodos). Así que pienso que un SOM de baja resolución se parece más al k-means no topológico que realiza una tarea similar, pero la naturaleza topológica de un SOM de alta resolución será más visible.

Answer 3

El caso de un número bajo de nodos es similar a K-means porque se forzando cada vector para que coincida con un nodo existente, actuando como un prototipo/centroide, sin ningún margen de divergencia.

En el caso de un número elevado de nodos, hay margen para ralentizar zonas de transición que imitan el espacio entre los protopios/centroides, modelando así el espacio topológico transformado entre las muestras. De este modo, el distancias relativas son "en cierto sentido conservado .