En general, la maldición de la dimensionalidad hace que el problema de buscar en un espacio sea mucho más difícil, y afecta a la mayoría de los algoritmos que "aprenden" particionando su espacio vectorial. Cuanto mayor sea la dimensionalidad de nuestro problema de optimización, más datos necesitaremos para llenar el espacio sobre el que estamos optimizando.
Modelos lineales generalizados
Los modelos lineales sufren enormemente la maldición de la dimensionalidad. Los modelos lineales dividen el espacio en un único plano lineal. Aunque no queramos calcular directamente $$\hat{\beta} = (X^{'}X)^{-1}X^{'}y$$ el problema planteado sigue siendo muy sensible a la colinealidad, y puede considerarse "mal condicionado" sin algún tipo de regularización. En espacios de muy alta dimensión, hay más de un plano que puede ajustarse a los datos, y sin el tipo adecuado de regularización puede hacer que el modelo se comporte muy mal. En concreto, lo que hace la regularización es intentar forzar la existencia de una única solución. Tanto la regularización L1 como la L2 al cuadrado intentan minimizar los pesos, y se puede interpretar que seleccionan el modelo con los pesos más pequeños para que sea el modelo más "correcto". Esto puede considerarse una formulación matemática de la Navaja de Occams.
Árboles de decisión
Los árboles de decisión también sufren la maldición de la dimensionalidad. Los árboles de decisión dividen directamente el espacio muestral en cada nodo. A medida que aumenta el espacio muestral, aumentan las distancias entre los puntos de datos, lo que hace mucho más difícil encontrar una "buena" partición.
Bosques aleatorios
Los bosques aleatorios utilizan una colección de árboles de decisión para realizar sus predicciones. Pero en lugar de utilizar todas las características de su problema, los árboles individuales sólo utilizan un subconjunto de las características. Esto minimiza el espacio que cada árbol está optimizando y puede ayudar a combatir el problema de la maldición de la dimensionalidad.
Boosted Tree's
Los algoritmos de refuerzo, como AdaBoost, sufren la maldición de la dimensionalidad y tienden a excederse si no se utiliza la regularización. No voy a entrar en profundidad, porque el post ¿Es AdaBoost menos o más propenso al sobreajuste? explica el porqué mejor de lo que yo podría.
Redes neuronales
Las redes neuronales son raras en el sentido de que sufren y no sufren la maldición de la dimensionalidad en función de la arquitectura, las activaciones, la profundidad, etc. Así que, para reiterar, la maldición de la dimensionalidad es el problema de que se necesita una gran cantidad de puntos en dimensiones elevadas para abarcar los datos. puntos en dimensiones elevadas para cubrir un espacio de entrada. Una forma de interpretar las redes neuronales profundas es pensar que todas las capas, excepto la última, realizan una complicada proyección de un colector de alta dimensionalidad a un colector de baja dimensionalidad, sobre el que la última capa clasifica. Así, por ejemplo, en una red convolucional de clasificación en la que la última capa es una capa softmax, podemos interpretar la arquitectura como una proyección no lineal en una dimensión más pequeña y luego hacer una regresión logística multinomial (la capa softmax) en esa proyección. Así que, en cierto sentido, la representación comprimida de nuestros datos nos permite eludir la maldición de la dimensionalidad. De nuevo, ésta es una interpretación; en realidad, la maldición de la dimensionalidad afecta a las redes neuronales, pero no al mismo nivel que los modelos descritos anteriormente.
SVM
SVM tienden a no overffit tanto como los modelos lineales generalizados debido a la excesiva regularización que se produce. Echa un vistazo a este post SVM, sobreajuste, maldición de la dimensionalidad para más detalles.
K-NN, K-Means
Tanto K-mean como K-NN se ven muy afectados por la maldición de la dimensionalidad, ya que ambos utilizan la medida de distancia L2 al cuadrado. A medida que aumenta el número de dimensiones, también aumenta la distancia entre los distintos puntos de datos. Por eso se necesita una mayor cantidad de puntos para cubrir más espacio con la esperanza de que la distancia sea más descriptiva.
Siéntete libre de preguntar cosas concretas sobre los modelos, ya que mis respuestas son bastante generales. Espero que le sirva de ayuda.
