¿Por qué se utiliza la curva ROC para evaluar lo "bueno" que es un modelo de regresión logística?

Question

Suponga que ajusta un modelo de regresión logística y descubre que está bien calibrado, es decir, que hay una buena concordancia entre los resultados observados y las predicciones. Además, supongamos que también coincide con algunos datos de entrenamiento.

No entiendo por qué alguien se molestaría en comprobar la capacidad de las predicciones del modelo para discriminar entre los que tienen y los que no tienen el resultado. Por qué preocuparse por el área bajo la curva de la roca. ¿Por qué tiene que discriminar bien mi modelo?

¿Es cierto que una gran área bajo la curva ROC implica un modelo bien calibrado?

Answer 1

Una regresión logística no "concuerda" con nada porque la naturaleza del resultado es 0/1 y la naturaleza de la predicción es una probabilidad continua. La concordancia requiere escalas comparables: 0,999 no es igual a 1. Una forma de desarrollar un clasificador a partir de una probabilidad es dicotomizar en un umbral. La limitación obvia de este enfoque es que el umbral es arbitrario y puede elegirse artificialmente para producir una sensibilidad (o especificidad) muy alta o muy baja. Así, el ROC considera todos los umbrales posibles.

Un modelo discriminante es capaz de clasificar a las personas en función de su riesgo. El riesgo predicho por el modelo podría ser camino de riesgo, pero si se quiere diseñar un subestudio o ensayo clínico para reclutar participantes de "alto riesgo", este modelo permite avanzar. El tamoxifeno preventivo se recomienda para las mujeres en la categoría de mayor riesgo de cáncer de mama como resultado de un estudio de este tipo.

Discriminación = Calibración. Si mi modelo asigna a todos los no eventos una probabilidad de 0,45 y a todos los eventos una probabilidad de 0,46, la discriminación es perfecta, aunque la incidencia/prevalencia sea <0,001.