Supongamos que en la tarea de clasificación, deseo seleccionar el mejor clasificador. Cómo hacer esto? Mi idea es seleccionar el clasificador que brinda la más alta precisión de la clasificación utilizando los datos de prueba durante la fase de prueba. Es este el enfoque correcto? He encontrado una pregunta relacionada con el pedido Que es el mejor clasificador y con qué medidas de rendimiento? . De acuerdo a la respuesta, que debo de tomar la decisión basada en la F1-score en los datos de prueba. ¿Por qué no utilizar la precisión de la clasificación puntuación en su lugar?
Respuestas
¿Demasiados anuncios?
Si el conjunto de datos es desequilibrado, un simple precisión no ser indicativo del desempeño de su modelo.
Imagine que usted tiene un reparto muy desigual de clasificación binaria problema (clases 0 y 1). Supongamos que usted tiene 1900 ejemplos para la clase 0 y a solo 100 ejemplos de la clase 1. Si ha creado un muñeco clasificador que sólo predijo la clase 0, se tiene que lograr un 95% de precisión. Para resolver este problema, usted debe elegir una métrica que es más insensible a la clase de desequilibrio (F1-score es una métrica).
Si el conjunto de datos es bastante equilibrada, precisión debería funcionar bien. Aparte de que su enfoque es correcto.
M_1
Puntos
313
No Hay Almuerzo Gratis Teorema (Wolpert-MacReady). En el universo de todas las funciones de costo, no hay nadie mejor classfier.
Patito Feo Teorema (Watanabe). En el unviverse de todos los conjuntos de características, no hay nadie mejor conjunto de características.
La Navaja de Occam. Sencillo es mejor.
Usted necesidad de utilizar el clasificador de fusión para la construcción de un grupo de clasificadores y, a continuación, utilizar la mayoría voto del comité. Algunos clasificadores será fuerte con ciertos objetos, y rompen con otros objetos. El uso de otros clasificadores le permitirá llenar cuando los clasificadores de romper. Un importante problema, una vez que desarrollar un conjunto, es que no hay nadie mejor conjunto de clasificadores, que se llama la diversidad (ver Kuncheva et al).
