Dos preguntas; ¿cómo interpretar el AUROC (área bajo la curva ROC)?

Question

Supongamos que he ajustado un modelo de regresión logística que predice $P(Y=1|\boldsymbol{X})$ la presencia de una enfermedad que se codifica como $1$, y si no, entonces $0$. El AUROC (área bajo la curva roc) muestra un alto poder discriminatorio, digamos: $85\%$. Por lo tanto, cualquier persona elegida al azar con la enfermedad tendrá una probabilidad pronosticada más alta que una persona sin la enfermedad, el $85\%$ del tiempo.

Si el modelo de regresión me da un sujeto $A$ con una probabilidad pronosticada de $0.6$ y pareciera ser una probabilidad alta en comparación con otros sujetos.

¿Sería correcto decir que hay un $85\%$ de probabilidad de que $A$ tenga la enfermedad?

¿Puedes darme algunos ejemplos de cómo puedo utilizar mi modelo de regresión sabiendo que tiene un fuerte poder discriminatorio?

Answer 1

¿Sería correcto decir que hay un 85% de probabilidad de que $A$ tenga la enfermedad?

No. Suponiendo que tu modelo es correcto y está bien calibrado, la probabilidad de que $A$ tenga la enfermedad es la estimación del modelo de que $A$ tiene la enfermedad.

El significado de AUROC (área bajo la curva ROC, para distinguirlo de la menos común área bajo la curva de precisión-recuperación) es exactamente lo que indicas: dada una persona enferma seleccionada al azar y una persona sana seleccionada al azar, hay un 85% de probabilidad de que tu modelo clasifique a la persona enferma por encima de la persona sana.

¿Me podrías dar algunos ejemplos de cómo puedo utilizar mi modelo de regresión sabiendo que tiene un fuerte poder discriminatorio?

Supongamos que necesitas construir un procedimiento que tome decisiones binarias sin intervención humana. Por ejemplo, los resultados de las pruebas se informan de manera automatizada para algún propósito. Es posible encontrar a todas las personas enfermas (TPR perfecto) etiquetando a todos como enfermos, pero tu FPR también será de 1.0. Alternativamente, podrías evitar todos los falsos positivos, pero a costa de tampoco capturar a personas enfermas.

Una curva ROC compara los compromisos entre estos dos extremos, es decir, el TPR y FPR estimados para cualquier umbral de valor de decisión. Las curvas ROC suelen ser resumidas por el AUROC, pero esto no implica que un modelo con un mayor AUROC necesariamente tenga un mejor equilibrio TPR/FPR en un umbral de valor de decisión específico.

Es común en la comunidad de aprendizaje automático comparar dos o más modelos alternativos en base al AUROC, pero esto no implica que el AUROC sea útil en general o incluso para el propósito particular de ese proyecto de aprendizaje automático.

Answer 2

Si el modelo de regresión me da un sujeto AA con una probabilidad predicha de 0.6 y esto parece ser una probabilidad alta en comparación con otros sujetos.

¿Sería correcto decir que hay un 85% de probabilidad de que AA tenga la enfermedad?

La respuesta es "no". El AUROC no se preocupa por el valor real de tus predicciones de probabilidad, solo el orden de tus predicciones. Podrías dividir todas tus probabilidades de predicción por 10 y aún así obtener el mismo AUC. De hecho, puedes crear algún criterio de ordenación que sea completamente independiente de cuáles sean tus probabilidades de predicción, y aún así obtener una puntuación de AUC.

Para tener una buena idea intuitiva de cómo interpretar un AUROC, ayuda ver una curva ROC para un pequeño número de muestras. Aquí hay una que preparé:

Nota que cada paso hacia la derecha representa una suposición "incorrecta", y cada paso hacia arriba representa una suposición "correcta". (Pasos más grandes significan más suposiciones). Rellené un área gris para un único paso hacia la derecha (es decir, "suposición incorrecta"). El AUC es simplemente la suma de todos los rectángulos oscuros sobre todas las suposiciones incorrectas. La altura del rectángulo es la proporción de muestras "verdaderas" que han sido listadas hasta ahora. Es decir, para el individuo de muestra "falsa" que provocó el paso horizontal del rectángulo, si nos detenemos en ese individuo entonces la tasa de verdaderos positivos se da por la altura del rectángulo. El ancho del rectángulo es la proporción de suposiciones "falsas" por las que estamos pasando al tomar el paso horizontal en el rectángulo.

El área del rectángulo resaltado se puede interpretar de la siguiente manera. Supongamos que elegimos una muestra individual "falsa" al azar. La probabilidad de elegir esa muestra, multiplicada por la tasa de verdaderos positivos de todas las selecciones antes de esa muestra se da por el área de un rectángulo oscuro. Así, la suma de rectángulos oscuros es la tasa de verdaderos positivos esperada antes de una muestra falsa, donde la esperanza se toma sobre todas las muestras falsas. De otra manera, si eliges una muestra individual falsa al azar y detienes tu lista "elegida" en ese individuo, el valor esperado del TPR hasta esa muestra es el AUC.

La TPR, por supuesto, es la probabilidad de que una muestra positiva, al elegirla al azar, esté en tu lista "elegida". Entonces, otra forma de interpretar el AUC es que, si eliges una muestra positiva al azar, y una muestra negativa al azar, el AUC es la probabilidad esperada de que la muestra positiva aparezca en tu lista antes que la muestra negativa.

En cuanto a tu última pregunta:

Basado en lo que dije anteriormente, el AUROC es un indicador de cuán bien ordenaste tus muestras, no de cuán buena es tu predicción de probabilidad. Recuerda, cualquier función monotónica de tus resultados de probabilidad (como dividir por diez, o tomar la sigmoide de ellos) producirá la misma curva ROC exacta. Por lo tanto, un buen AUROC no debería decirte cómo medir la probabilidad de un evento. (Por ejemplo, si tienes un AUROC muy alto para la clasificación de enfermedades, y predices que alguien tiene un 99% de probabilidad de tener la enfermedad, esa persona no necesariamente debería actuar como si definitivamente tuviera la enfermedad. Podría ser que solo tenga un 5% de probabilidad, pero tu modelo aún es excelente para determinar que su probabilidad es mucho mayor que la de otra persona.) Debido a que el AUC es un buen indicador de clasificación, su principal utilidad debería estar en la priorización de candidatos. Por ejemplo, si tienes un modelo con un alto AUC para la clasificación de enfermedades, entonces los resultados de tus predicciones deberían determinar a quién eliges primero para diagnósticos o tratamiento adicionales.