¿Cuál es la forma correcta de probar la significancia de los resultados de clasificación?

Question

Hay muchas situaciones en las que puedes entrenar varios clasificadores diferentes, o usar varios métodos de extracción de características. En la literatura, los autores suelen dar el error de clasificación promedio sobre un conjunto de divisiones aleatorias de los datos (es decir, después de una validación cruzada doblemente anidada), y a veces también dan las varianzas sobre el error en las divisiones. Sin embargo, esto por sí solo no es suficiente para decir que un clasificador es significativamente mejor que otro. He visto muchos enfoques diferentes para esto: usar pruebas de Chi-cuadrado, t-test, ANOVA con pruebas post-hoc, etc.

¿Qué método se debe utilizar para determinar la significancia estadística? Subyacente a esa pregunta está: ¿Qué suposiciones debemos hacer sobre la distribución de las puntuaciones de clasificación?

Answer 1

Además de la excelente respuesta de @jb., permíteme añadir que puedes usar prueba de McNemar en el mismo conjunto de pruebas para determinar si un clasificador es significativamente mejor que el otro. Esto solo funcionará para problemas de clasificación (lo que el trabajo original de McNemar llama un "rasgo dicotómico") lo que significa que los clasificadores aciertan o fallan, sin espacio intermedio.

Answer 2

Dado que la distribución de errores de clasificación es una distribución binaria (o hay clasificación incorrecta o no la hay) --- diría que usar Chi-cuadrado no es sensato.

También es sensato comparar solo las eficiencias de los clasificadores que trabajan en los mismos conjuntos de datos --- El 'Teorema del almuerzo gratis' afirma que todos los modelos tienen la misma eficiencia promedio en todos los conjuntos de datos, por lo que qué modelo parecerá mejor dependerá solo de los conjuntos de datos elegidos para entrenarlos http://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization.

Si estás comparando la eficiencia de los modelos A y B en el conjunto de datos D creo que la eficiencia promedio + la media es suficiente para tomar una decisión.

Además, si uno tiene muchos modelos que tienen una eficiencia razonable (y son linealmente independientes entre sí), prefiero construir un modelo de conjunto en lugar de simplemente elegir el mejor modelo.

Answer 3

Recomiendo el artículo de Tom Dietterich titulado "Pruebas estadísticas aproximadas para comparar algoritmos de aprendizaje de clasificación supervisada". Aquí está el perfil del artículo en CiteSeer. Desde el resumen: "Este artículo revisa cinco pruebas estadísticas aproximadas para determinar si un algoritmo de aprendizaje supera a otro en una tarea de aprendizaje particular. Estas pruebas se comparan experimentalmente para determinar su probabilidad de detectar incorrectamente una diferencia cuando no existe (error de tipo I). ... La prueba de McNemar, se muestra tener un bajo error de Tipo I. ..."

Answer 4

En mi humilde opinión, no debería haber ninguna diferencia entre la distribución de puntuaciones y la distribución de cualquier otro tipo de datos. por lo tanto, en esencia, todo lo que tienes que comprobar es si tus datos están distribuidos de manera normal o no, ver aquí. Además, hay excelentes libros que tratan a fondo esta cuestión, ver aquí (es decir, en pocas palabras: todos prueban si el resultado de dos clasificadores es significativamente diferente.. y si lo es, pueden combinarse en un modelo conjunto)

Answer 5

No hay una sola prueba que sea apropiada para todas las situaciones; puedo recomendar el libro "Evaluating Learning Algorithms" de Nathalie Japkowicz y Mohak Shah, Cambridge University Press, 2011. El hecho de que se pueda escribir un libro de casi 400 páginas sobre este tema sugiere que no es un problema sencillo. A menudo me he encontrado con que no hay una prueba que realmente se ajuste a las necesidades de mi estudio, por lo que es importante tener un buen entendimiento de las ventajas y desventajas del método que finalmente se use.

Un problema común es que para conjuntos de datos grandes se puede obtener una diferencia estadísticamente significativa con un tamaño de efecto que no tiene relevancia práctica.