¿Alternativa a la curva ROC cuando algunos casos de prueba no tienen verdaderos positivos?

Question

Tengo un clasificador que estoy utilizando para clasificar los datos de los pacientes en una de las dos clases.

En concreto, tengo muchos pacientes, y para cada uno de ellos tengo un número de puntos de datos (multivariables), registrados una vez al día. Para cada punto de datos diario, el clasificador toma ese punto de datos y lo clasifica en una de las dos clases. Las dos clases están muy desequilibradas, quizá en torno al 90% contra el 10%.

Inicialmente, quería calcular una curva ROC para cada paciente y, a continuación, observar la dispersión del AUC en todos los pacientes, con el fin de hacerme una idea de la reproducibilidad de mi clasificador. Sin embargo, en ocasiones, un paciente no tiene casos positivos, es decir, todos los puntos de datos pertenecen a la clase mayoritaria (la clase negativa). En este caso no tiene sentido hablar de curva ROC.

Por supuesto, podría descartar a los pacientes sin resultados positivos, pero eso sesgaría mi medida de AUC media. Lo mismo ocurriría si simplemente dijera AUC=0,5 (sin información) para los pacientes sin positivos.

¿Existe alguna alternativa sensata e imparcial a las curvas ROC que pueda utilizar para medir la calidad del clasificador en esta población de pacientes?

(Para mayor claridad: Aquí no me importa la dinámica de las series temporales, simplemente estoy clasificando cada punto de datos de forma aislada)

Answer 1

¿Está seguro de que necesita una curva ROC distinta por paciente? ¿Qué va a hacer exactamente con las medidas AUC de las que tiene una por paciente?

Si quiere evaluar el rendimiento de su clasificador, también podría agrupar aleatoriamente sus puntos de datos en 10 pliegues. El número de paciente sería una columna adicional en su conjunto de datos que su clasificador puede utilizar. Si repite esa validación cruzada 3 veces, tendrá 30 muestras del rendimiento del clasificador.

Si el objetivo es clasificar los puntos de datos de futuros pacientes desconocidos (a partir de su primer punto de datos), debería prescindir de los números de los pacientes en su totalidad.

Editar: Una opción es el Kappa de Cohen. Se encarga de la tasa de no información. Se define cuando no hay TP. Sin embargo, no se define cuando la clasificación es perfecta, lo que puede crear otro problema con conjuntos de pruebas pequeños.

Si conoce los costes concretos de la clasificación errónea de FP frente a FN (y quizás los beneficios de TP y TN), entonces debería utilizarlos siempre como métrica de rendimiento.

Siempre se pueden utilizar macromedias de sus medidas ROC o de las medidas F. Normalmente, tomaría cada una de las dos clases una vez como positiva y otra como negativa y promediaría las dos puntuaciones de rendimiento. También puede dar más peso a la clase rara y calcular una macro media ponderada. Esto es bastante inusual, pero también lo es el planteamiento de tener tantas medidas de rendimiento que se basan todas en un paciente. (Forman 2010)