¿Sirve la evaluación ROC de un clasificador binomial como una buena medida de rendimiento dada la igualdad de pesos entre positivos y negativos?

Question

Mi problema es que he creado cuatro modelos candidatos que estoy comparando principalmente a través de las siguientes medidas de rendimiento: F-measure , recall , precision , accuracy y visual ROC assessment .

El problema es que, como se ve en la tabla, la prueba SVM_lineal es la que mejor funciona dada la medida F. Este modelo corresponde a la línea azul del gráfico ROC. La línea roja en el gráfico ROC corresponde al SVM_RBF_test, ya que dado el gráfico ROC este modelo es el que mejor funciona. Después de haber leído mucho recientemente sobre las medidas de rendimiento de los clasificadores binomiales, no he encontrado lo que es obvio en mi ejemplo. El ROC no tiene en cuenta false positives y, por lo tanto, en mi caso, una evaluación ROC no tiene mucho valor. Por supuesto, siempre se puede debatir si queremos asignar más peso a la clase positiva, pero en este caso dejamos de lado esta discusión.

Answer 1

Sabemos por la teoría estadística que, en ausencia de información previa, la logverosimilitud es un criterio óptimo para estimar parámetros desconocidos, como los coeficientes de regresión. Por ello, es muy ventajoso utilizar la logverosimilitud para juzgar el rendimiento del modelo. Esto conduce a una potencia y precisión óptimas. Por lo tanto, piense en utilizar un criterio de verosimilitud logarítmica generalizado $R^2$ medida. Esto resuelve el problema de que el área ROC es demasiado insensible para detectar diferencias reales en la discriminación predictiva. Además, las curvas ROC que se han dibujado, aunque se utilizan a menudo en la práctica habitual, tienen una enorme relación tinta:información. Las curvas ROC se suelen dibujar por su frecuencia de uso en la literatura, pero no he visto ningún ejemplo en el que el examen de las curvas conduzca a la obtención de información.