Estadísticas del área bajo la curva ROC

Question

Tengo una pregunta sobre la evaluación estadística del AUC. En su documento ( http://www.jstor.org/stable/2531595 ), DeLong et al. describen un método para evaluar las curvas AUC. (Otra buena explicación puede encontrarse en el libro "Statistics with Confidence: Confidence Intervals and Statistical Guidelines" de Altman et al.).

Por lo que he entendido, calculamos el $\text{AUC}$ y la desviación estándar $\sigma$ de la matriz Kernel. Asumiendo la distribución normal $\mathcal{N}(\text{AUC},\sigma)$ es posible calcular los intervalos de confianza.

Mi pregunta es sobre el supuesto de normalidad:

1. El $\text{AUC}$ suele estar en el intervalo $[0,1]$ pero el intervalo para la distribución normal es $(-Inf, Inf)$ . ¿Es realmente insignificante este problema? (Este problema, por ejemplo, se resuelve en pROC restringiendo el CI a $[0,1]$ )

2. El $Beta$ está definida en el intervalo $[0,1]$ y tiene los parámetros de forma $\alpha$ y $\beta$ . ¿Podemos estimarlas a partir de los datos, como podemos hacer con las CUA?

Por poner un ejemplo: Dado un vector c(T,F,F,F,T,F,F,T,F,F) el $\text{AUC} = 0.619$ y $\sigma = 0.237$ lo que da como resultado un IC del 95% $(0.156, 1.083)$ .

library(pROC)
temp.in <- c(T,F,F,F,T,F,F,T,F,F)
pROC::auc(pROC::roc(controls=which(temp.in), cases=which(!temp.in)))
pROC::ci.auc(pROC::roc(controls=which(temp.in), cases=which(!temp.in)))

En lugar de utilizar la distribución normal, me gustaría utilizar la $Beta$ distribución. Pero cómo podemos estimar $\alpha$ y $\beta$ para $Beta$ distribución dada c(T,F,F,F,T,F,F,T,F,F) ?

Answer 1

Una alternativa dada por [1] es calcular el intervalo para el logit AUC:

$log \left( \frac{AUC}{1-AUC} \right) \pm \phi ^{-1} \left( 1 - \frac{\alpha}{2} \right) \frac{\sqrt{AUC}}{AUC(1 - AUC)}$

para obtener un intervalo asimétrico. En su caso, obtendría un IC del 95% $(0.38, 0.81)$ .

Si se trata con frecuencia de AUCs elevados y tamaños de muestra pequeños, es posible que quiera echar un vistazo a [2] que muestra que no hay un único método que pueda calcular de forma óptima el intervalo de confianza para todas las curvas ROC.

---

1] Pepe MS, The Statistical Evaluation of Medical Tests for Classification and Prediction, OUP 2003, p. 107

2] Obuchowski NA, Lieber ML, Límites de confianza cuando el área ROC estimada es de 1,0 , Acad Radiol. 2002, 9 (5) p. 526-30