Los cinco mejores clasificadores para probar primero

Question

Además de las características obvias del clasificador como

• coste computacional,
• tipos de datos previstos de características/etiquetas y
• idoneidad para determinados tamaños y dimensiones de conjuntos de datos,

¿Cuáles son los cinco (o 10, 20) mejores clasificadores para probar primero en un nuevo conjunto de datos? uno no sabe mucho todavía (por ejemplo, la semántica y la correlación de los rasgos individuales)? Normalmente pruebo con Naive Bayes, Nearest Neighbor, Decision Tree y SVM, aunque no tengo ninguna razón de peso para esta selección, aparte de que los conozco y comprendo en gran medida su funcionamiento.

Supongo que hay que elegir clasificadores que cubran lo más importante general enfoques de clasificación. ¿Qué selección recomendaría, según ese criterio o por cualquier otra razón?

---

ACTUALIZACIÓN: Una formulación alternativa para esta pregunta podría ser: "¿Qué enfoques generales de clasificación existen y qué métodos específicos abarcan los más importantes/populares/prometedores?"

Answer 1

Bosque aleatorio

Rápido, robusto, buena precisión, en la mayoría de los casos no hay que afinar, no requiere normalización, inmune a la colinealidad, genera una aproximación de errores bastante buena y una clasificación de importancia útil como efecto secundario del entrenamiento, trivialmente paralelo, predice en un abrir y cerrar de ojos.

Inconvenientes: es más lento que los métodos triviales como kNN o NB, funciona mejor con clases iguales, peor precisión que SVM para problemas que requieren desesperadamente el truco del kernel, es una caja negra dura, no hace café.

Answer 2

Clasificador de procesos gaussianos (sin utilizar la aproximación de Laplace), preferiblemente con marginación en lugar de optimización de los hiperparámetros. ¿Por qué?

1. porque dan una clasificación probabilística
2. puede utilizar una función kernel que le permita operar directamente con datos no vectoriales y/o incorporar el conocimiento de los expertos
3. tratan la incertidumbre en el ajuste del modelo de forma adecuada, y se puede propagar esa incertidumbre a través del proceso de toma de decisiones
4. En general, el rendimiento predictivo es muy bueno.

Desventajas

1. lento
2. requiere mucha memoria
3. poco práctico para los problemas a gran escala.

Sin embargo, la primera opción sería la regresión logística regularizada o la regresión ridge [sin selección de características]: para la mayoría de los problemas, los algoritmos muy sencillos funcionan bastante bien y es más difícil equivocarse (en la práctica, las diferencias de rendimiento entre los algoritmos son menores que las diferencias de rendimiento entre el operador que los maneja).

Answer 3

Por mi parte, cuando te acercas a un nuevo conjunto de datos debes empezar a vigilar todo el problema. En primer lugar, obtenga una distribución para las características categóricas y la media y las desviaciones estándar para cada característica continua. A continuación:

• Eliminar las características con más de un X% de valores perdidos;
• Elimine las características categóricas cuando un valor concreto obtenga más del 90-95% de la frecuencia relativa;
• Eliminar las características continuas con CV=std/media<0,1;
• Obtenga una clasificación de parámetros, por ejemplo ANOVA para continuos y Chi-cuadrado para categóricos;
• Obtenga un subconjunto significativo de características;

Entonces suelo dividir las técnicas de clasificación en 2 conjuntos: técnica de caja blanca y de caja negra. Si necesitas saber "cómo funciona el clasificador", debes elegir el primer conjunto, por ejemplo, árboles de decisión o clasificadores basados en reglas.

Si necesita clasificar nuevos registros sin construir un modelo debería echar un vistazo a eager learner, por ejemplo KNN.

Después creo que es mejor tener un umbral entre la precisión y la velocidad: las redes neuronales son un poco más lentas que las SVM.

Esta es mi técnica de clasificación de los cinco mejores:

1. Árbol de decisión;
2. Clasificadores basados en reglas;
3. SMO (SVM);
4. Naive Bayes;
5. Redes neuronales.