¿Existe algún método de aprendizaje resistente a la maldición de la dimensionalidad?

Question

He visto muchas investigaciones y artículos que explican la definición de la maldición de la dimensionalidad y sus efectos.

Sin embargo, me pregunto si hay algún método de aprendizaje que sea resistente a la maldición de la dimensionalidad. Es decir, ¿la degradación del rendimiento del método de aprendizaje es insignificante en comparación con el crecimiento de la dimensión del espacio de características?

Answer 1

La degradación del rendimiento debido al crecimiento de la dimensionalidad se debe al hecho de que a medida que aumenta el número de "visitas" en el espacio de todos los posibles conjuntos de características, la probabilidad de encontrar un efecto solo por casualidad también aumenta. Por supuesto, el tiempo para recorrer todo el espacio de soluciones también se dispara, degradando así el rendimiento en términos de tiempo de cálculo.

Por lo tanto, los únicos métodos que funcionarían mejor en el caso de muchas dimensiones son aquellos que realizan esas "visitas" de manera inteligente. Conozco dos métodos como esos: el metaanálisis y heurísticas inteligentes como las Cadenas de Markov de Monte Carlo.

El metaanálisis se utiliza con éxito, por ejemplo, en bioinformática, donde dado que el número de registros (sujetos en un estudio) suele ser mucho menor que el número de características (por ejemplo polimorfismos genéticos), cualquier efecto suele ser eliminado con frecuencia por la corrección de comparaciones múltiples. Por lo tanto, muchos grupos de investigación utilizan el enfoque de genes candidatos, donde los genes candidatos (predictores) se seleccionan en función de la comprensión global de la genómica moderna, incluidos los resultados ya publicados por otros grupos. Esto reduce drásticamente el espacio de características.

Los métodos de muestreo como MCMC reducen el espacio de características al recorrerlo de manera inteligente: en pocas palabras, buscando un máximo como el gradiente y permitiendo saltar a un punto al azar para evitar quedarse atascado en máximos locales.