Estimación de la dimensionalidad del espacio de características a partir de la matriz de distancias

Question

Tengo una matriz de distancias con algo de ruido (por ejemplo, obtenida preguntando a la gente cómo de parecidos son dos objetos de un conjunto de objetos). Me interesa averiguar la (mejor estimación de la) dimensionalidad del espacio de características de los objetos (es decir, cuántas características de los objetos tienen en cuenta las personas a la hora de evaluar la similitud).

Conozco algoritmos que reducen la dimensión a una dada (por ejemplo, el escalado multidimensional), pero no sé cómo adivinar el número de dimensiones dado que hay algo de ruido.

Answer 1

Responder a esta pregunta en general es muy difícil. La dimensionalidad "recomendada" depende en gran medida de los datos y del ruido.

En general:

• Si eliges una dimensionalidad demasiado alta -> se producirá un sobreajuste
• Si elige una dimensionalidad demasiado baja -> puede perder dimensiones importantes

Yo recomendaría jugar un poco con PCA (análisis de componentes principales) para tener una "sensación" de los datos. También trazando los datos en bruto, así como de los enfoques de reducción de la dimensionalidad a menudo se ve (como un ser humano) los patrones emergen que será en ciertas dimensiones.