En otras palabras, en lugar de tener un problema de dos clases, estoy tratando con 4 clases y aún así me gustaría evaluar el rendimiento utilizando AUC.
Respuestas
¿Demasiados anuncios?
DavLink
Puntos
101
Parece que está buscando un análisis ROC multiclase, que es un tipo de optimización multiobjetivo cubierto en un tutorial en ICML'04. Como en varios problemas multiclase, la idea es generalmente llevar a cabo una comparación por pares (una clase frente a todas las demás clases, una clase frente a otra clase, véase (1) o el Elementos de aprendizaje estadístico ), y existe un artículo reciente de Landgrebe y Duin sobre este tema, Aproximación del ROC multiclase mediante análisis por pares Pattern Recognition Letters 2007 28: 1747-1758. Ahora, para fines de visualización, he visto algunos artículos hace algún tiempo, la mayoría de ellos girando en torno a volumen bajo la superficie ROC (VUS) o Diagrama de telaraña .
No sé, sin embargo, si existe una implementación en R de estos métodos, aunque creo que el método stars() puede utilizarse para el trazado de telarañas. Acabo de toparme con una caja de herramientas de Matlab que parece ofrecer análisis ROC multiclase, Estudio PRSD .
Otros documentos que también pueden ser útiles como primer punto de partida para la visualización/computación:
- Visualización de superficies ROC multiclase
- Extensión simplificada del área bajo la ROC al dominio multiclase
Referencias:
1. Allwein, E.L., Schapire, R.E. y Singer, Y. (2000). Reducing multiclass to binary: A unifying approach for margin classifiers. Revista de investigación sobre aprendizaje automático , 1 :113-141.
jb.
Puntos
4932
Hace poco encontré esto pROC paquete en R que traza un ROC multiclase utilizando la técnica especificada por Hand y Till (2001) . Puede utilizar la función multiclase.roc.
Judioo
Puntos
625
Aunque las matemáticas me superan, este artículo de revisión general contiene algunas referencias que probablemente le interesarán, así como una breve descripción de los gráficos ROC multiclase.
Introducción al análisis ROC por Tom Fawcett Cartas sobre reconocimiento de patrones Volumen 27, Número 8, Junio 2006, Páginas 861-874
Enlace pdf proporcionado por gd047- gracias
