Interpretación inversa del AUC

Question

Dado un clasificador (SVM) que clasifica en 2 "clases" (+1 o -1) a efectos de predicción. Tiene una puntuación AUC de 0,28, lo que significa que su tasa de éxito es inferior a la de las predicciones aleatorias.

Si hago lo contrario (es decir, el clasificador dice que será -1, así que asumo que será +1), ¿significa eso que mi porcentaje de acierto en la predicción será aproximadamente del 72% (1-0,28)?

No me parece muy lógico. Por favor, explícame cómo debo interpretar esto en su lugar y por qué no puedo hacer lo contrario de las predicciones del clasificador para obtener una mayor tasa de éxito.

Answer 1

Esta interpretación es correcta. He aquí algunas posibles explicaciones de por qué su clasificador tiene un rendimiento aparentemente peor que el aleatorio:

1. Su clasificador es realmente aleatorio (AUC verdadero cercano a 0,5). Su conjunto de pruebas era pequeño, por lo que 0,28 está dentro de un intervalo de confianza en torno a 0,5. El AUC puede tener intervalos de confianza del 95% bastante amplios.
2. Su clasificador está sobreajustado en el conjunto de entrenamiento y funciona muy mal en el conjunto de prueba.
3. Tu clasificador te da la probabilidad de que la clase sea -1. Así, obtiene una predicción (cercana a) 0 para una clase 1, y 1 para una predicción de clase -1. Si su método ROC espera que las predicciones positivas (+1) sean más altas que las negativas (-1), obtendrá una curva invertida.
4. Tienes un error en alguna parte. Por ejemplo no es raro que los clasificadores esperen clases como 0 y 1 y he visto algunas implementaciones que no pueden tratar con -1 o 2. O has introducido un error en alguna parte, o algo por el estilo.