Esto es más o menos lo que hice para mi tesis de maestría. Utilicé la regresión de red elástica y pareció funcionar bien, aunque no hice ningún análisis de sensibilidad. Otras penalizaciones (lazo, probablemente incluso SCAD) también funcionarían, pero la red elástica fue la mejor para mi uso.
La cuestión también se reduce a lo que se entiende por "importante". La red elástica o la regresión del lazo, en datos centrados en la media y en la desviación estándar, seleccionarán las características individuales con el mayor efecto sobre el resultado.
Si, por el contrario, está interesado en las variables individuales que más disminuyen la precisión predictiva cuando se eliminan del modelo completo, entonces este método no será apropiado. En este caso, se ajustaría cualquier clasificador, luego para cada predictor volver a ajustar el clasificador sin ese predictor y ver cuánto cae la precisión de la predicción.
También puede utilizar la regresión aquí, pero recuerde que la regresión es no un clasificador verdadero. Más bien, estima las probabilidades esperadas de pertenencia a una clase. Si quiere o necesita un clasificador verdadero, debe utilizar una SVM o un árbol de decisión, o mejor aún un método de conjunto como AdaBoost o Random Forests.
