Comparar visualmente las predicciones de varios clasificadores

Question

Tengo un problema de clasificación donde he probado cuatro diferentes algoritmos de clasificación binaria. He realizado una 10-fold cross-validation en mi conjunto de entrenamiento y se generaron las curvas ROC y estimaciones de rendimiento (exactitud, AUC, etc).

Ahora me gustaría comparar los clasificadores en el nivel de las predicciones para entender si las decisiones tomadas por los diferentes clasificadores en las observaciones individuales son más o menos el mismo.

¿Alguien tiene sugerencias/recomendaciones sobre cómo hacerlo visualmente?

Una simple opción sería sacar dos 4-forma de los diagramas de Venn, uno para las predicciones positivas y otro para el negativo, pero me pregunto si hay más elegantes/ingeniosas maneras de hacerlo.

Gracias!

Answer 1

Una posibilidad sería un "crosstable matrix", que tabula los pares (en)congruencias de sus cuatro algoritmos de clasificación' salidas, y muestra todas las posibilidades en una matriz. Con algunos juguetes de datos en R:

require(gplots) # for textplot
nn <- 100
set.seed(1)
classification <- data.frame(A=runif(nn)<.3,B=runif(nn)<.3,C=runif(nn)<.3,D=runif(nn)<.3)

opar <- par(mfrow=rep(ncol(classification),2),mai=rep(0,4))
    for ( ii in 1:ncol(classification) ) {
        for ( jj in 1:ncol(classification) ) {
            if ( ii == jj ) {
                plot(c(0,1),c(0,1),type="n",xlab="",ylab="",bty="n",xaxt="n",yaxt="n")
                text(.5,.5,colnames(classification)[jj],cex=2)
            } else {
                textplot(table(classification[,c(ii,jj)]),xlab="",ylab="",bty="n",cex=0.9)
            }
        }
    }
par(opar)

Alternativamente, se pueden visualizar las entradas de todas estas tablas, por ejemplo, utilizando diferente tamaño de los círculos. (Asegúrese de que el área de estos círculos corresponde a la celda en la cuenta, no la radio.)