¿Cómo puedo comparar si el resultado de los clasificadores es significativamente diferente?

Question

¿Cómo puedo comparar si el resultado de los clasificadores es significativamente diferente?

Tengo un conjunto de datos relativamente pequeño que estoy tratando de clasificar. Mi conjunto de entrenamiento consta de 24 elementos procedentes de dos grupos diferentes, 12 elementos de cada grupo. cada elemento tiene dos propiedades. Tengo 12 nuevos elementos que me gustaría clasificar basándome en este conjunto de entrenamiento. (no estoy seguro de que los números sean tan importantes para mi pregunta... )

He probado 5 clasificadores diferentes, y su resultado de clasificación es el siguiente:

1. 1, 1, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0
2. 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 1, 1
3. 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1
4. 0, 0, 1, 1, 0, 1, 1, 1, 0, 0, 0, 1
5. 0, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1

mi pregunta es: ¿cómo puedo comprobar si esos resultados son significativamente diferentes entre sí?

Gracias.

Answer 1

Para evaluar la diferencia se necesita una medida de disimilitud. Dejando que $C_1$ denotan un clasificador y $C_2$ otro clasificador, una de estas medidas podría ser $d(C_1,C_2)=\#points- that-the-classifiers-disagree-about$ . Si ese número es "suficientemente grande", entonces tienes una diferencia significativa. La cuestión es qué significa "suficientemente grande" en este contexto. Debería estar relacionado con lo que se esperaría si no hubiera "ninguna diferencia" entre los clasificadores.

Aquí es donde entran los fines prácticos. ¿Cuándo es significativa una diferencia entre los clasificadores en un sentido práctico? ¿Si están en desacuerdo el 1 % de las veces? 10 %? 20 %? Dado ese porcentaje $p$ , $d(C_1,C_2)\sim Bin(12,p)$ si no hay "ninguna diferencia" y podría utilizar una prueba binomial para comparar sus clasificadores.

Sin embargo, tenga en cuenta que con una muestra de entrenamiento tan pequeña, cualquier diferencia que encuentre puede decirle más sobre sus datos de entrenamiento que sobre sus clasificadores...