¿Existe un clasificador conjunto que dé lugar a soluciones dispersas para el vector de características como la regresión Lasso? Con la Regresión Logística, puedo elegir la penalización L1 del penalty hiperparámetro. ¿Es mi única opción construir un conjunto con VotingClassifier para hacer esto o hay un clasificador de conjunto fuera de la caja en sklearn que se sabe que produce soluciones dispersas?
Respuesta
¿Demasiados anuncios?
Sí, puede utilizar un modelo de Regresión Logística con penalización L1 como su clasificador de conjunto. Lo llamaremos su Modelo de Nivel 1. Esto dará una probabilidad final de clase predicha para cada muestra. Las características de este aprendiz de conjunto (Nivel 1) son esencialmente las probabilidades predichas para cada muestra de cada uno de sus modelos de Nivel 0. En otras palabras, cada característica del aprendiz del Nivel 1 es un modelo del Nivel 0. Al realizar el entrenamiento/prueba de CV, mantenga las mismas asignaciones de pliegues para cada nivel para intentar evitar el sobreajuste. Además, es imperativo, mientras se prueba un aprendiz de conjunto, mantener un conjunto de validación, o un conjunto de retención, que los modelos de Nivel 0 y Nivel 1 nunca hayan visto.
No estoy seguro de si hay una solución fuera de la caja incluida con scikit-learn, pero lo suficientemente fácil de escribir su propio.
