Evaluación de clasificadores: aprendizaje curvas curvas ROC vs

Question

Me gustaría comparar 2 diferentes clasificadores para un multiclase el texto del problema de clasificación que utiliza grandes conjuntos de datos de entrenamiento. Estoy dudando si debo utilizar curvas ROC o curvas de aprendizaje para comparar los 2 clasificadores.

Por un lado, las curvas de aprendizaje son útiles para decidir el tamaño del conjunto de datos de entrenamiento, ya que se puede encontrar el tamaño del conjunto de datos en que el clasificador deja de aprender (y tal vez se degrada). Así que la mejor clasificador en este caso podría ser el de alcanzar la máxima precisión con el menor tamaño del conjunto de datos.

Por otro lado, las curvas ROC vamos a encontrar un punto con el derecho de trade-off entre la sensibilidad/especificidad. El mejor clasificador en este caso es sólo el que está más cerca de la parte superior izquierda, con el mayor de TPR para cualquier FPR.

Debo usar ambos métodos de evaluación? Es posible que un método con una mejor curva de aprendizaje que tienen un peor de la curva ROC, y vice-versa?

Answer 1

La curva de aprendizaje es sólo un diagnóstico de la herramienta, que indica lo rápido que su modelo aprende, y si el análisis no se ha quedado atascado en una peculiar zona de demasiado pequeños conjuntos / demasiado pequeño conjunto (si se aplica). La única parte de esta trama que es interesante para el modelo de evaluación es el final de la misma, es decir, el rendimiento final, pero esto no se necesita un diagrama de ser informado.
La selección de un modelo basado en una curva de aprendizaje que ha esbozado en su pregunta es más bien una mala idea, porque es probable que seleccionar un modelo que es el mejor en el sobreajuste en un demasiado pequeño conjunto de la muestra.

Acerca de ROCs... ROC curve es un método para la evaluación binario modelos que producen una puntuación de confianza que un objeto pertenece a una clase; posiblemente también para encontrar el mejor de los umbrales para convertirlos en un verdadero clasificadores.
Lo que usted describe es más bien una idea para trazar sus clasificadores de desempeño como un diagrama de dispersión de la TPR/FPR en el ROC de espacio y de uso más cercano a la parte superior izquierda de la esquina criterio para seleccionar lo que es mejor equilibrio entre la generación de falsas alarmas y fallos -- este objetivo particular puede ser más elegante basta con seleccionar el modelo con un mejor F-score (media armónica de precisión y recall).