¿Una regresión logística que maximiza la probabilidad también maximiza el AUC sobre los modelos lineales?

Question

Dado un conjunto de datos con resultados binarios $y\in\{0,1\}^n$ y alguna matriz de predicción $X\in\mathbb{R}^{n\times p}$ el modelo de regresión logística estándar estima los coeficientes $\beta_{MLE}$ que maximizan la probabilidad binomial. Cuando $X$ es de rango completo $\beta_{MLE}$ es única; cuando la separación perfecta no está presente, es finita.

¿Este modelo de máxima verosimilitud también maximiza el AUC del ROC (también conocido como $c$ -), o existe alguna estimación del coeficiente $\beta_{AUC} \neq \beta_{MLE}$ ¿cuál obtendrá un AUC ROC más alto? Si es cierto que la MLE no maximiza necesariamente el ROC AUC, entonces otra forma de ver esta pregunta es "¿Existe una alternativa a la maximización de la verosimilitud que siempre maximizará el ROC AUC de una regresión logística?"

Estoy asumiendo que los modelos son, por lo demás, los mismos: no estamos añadiendo o eliminando predictores en $X$ o cambiar la especificación del modelo, y asumo que los modelos de maximización de la verosimilitud y de AUC utilizan la misma función de enlace.

Answer 1

No es el caso que $\beta_{MLE} = \beta_{AUC}$ .

Para ilustrar esto, consideremos que el AUC puede escribirse como

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

En otras palabras, el orden de las predicciones es lo único que afecta al AUC . Este no es el caso de la función de probabilidad. Así que, como ejercicio mental, supongamos que tenemos un único predictor y que en nuestro conjunto de datos no vemos una separación perfecta (es decir, $\beta_{MLE}$ es finito). Ahora, si simplemente tomamos el valor del predictor más grande y lo aumentamos en una pequeña cantidad, cambiaremos la probabilidad de esta solución, pero no cambiará el AUC, ya que el ordenamiento debería seguir siendo el mismo. Así, si el antiguo MLE maximizaba el AUC, seguirá maximizando el AUC después de cambiar el predictor, pero ya no maximizará la probabilidad.

Por lo tanto, como mínimo, no es el caso que $\beta_{AUC}$ no es único; cualquier $\beta$ que preserva el orden de las estimaciones logra exactamente el mismo AUC. En general, dado que el AUC es sensible a diferentes aspectos de los datos, creo que deberíamos ser capaces de encontrar un caso en el que $\beta_{MLE}$ no maximiza $\beta_{AUC}$ . De hecho, me atrevería a decir que esto ocurre con alta probabilidad.

EDITAR (trasladar el comentario a la respuesta)

El siguiente paso es demostrar que el MLE no necesariamente maximiza el AUC (lo que aún no está demostrado). Se puede hacer esto tomando algo como los predictores 1, 2, 3, 4, 5, 6, $x$ (con $x > 6$ ) con resultados 0, 0, 0, 1, 1, 1, 0. Cualquier valor positivo de $\beta$ maximizará el AUC (independientemente del valor de $x$ ), pero podemos elegir un $x$ lo suficientemente grande como para que el $\beta_{MLE} < 0$ .