Significación estadística (p-valor) para comparar dos clasificadores con respecto a (media) AUC ROC, la sensibilidad y especificidad

Question

Tengo un set de prueba de 100 casos y dos clasificadores.

Me genera predicciones y las AUC ROC, la sensibilidad y especificidad de ambos clasificadores.

Pregunta 1: ¿Cómo puedo calcular el p-valor para comprobar si uno es significativamente mejor que la de los otros con respecto a todos los puntajes (AUC ROC, sensibilidad, especificidad)?

---

Ahora, para el mismo conjunto de pruebas de 100 casos, he diferente e independiente de la característica de las asignaciones para cada caso. Esto es debido a mis características son fijas, sino subjetiva y por múltiples (5) de los sujetos.

Así que, he evaluado a mis dos clasificadores de nuevo por 5 "versiones" de mi juego de pruebas y obtuvieron 5 ROC miembros de las auc, 5 sensibilidades y 5 especificidades de ambos clasificadores. Entonces, yo calcula la media de cada medida de rendimiento para 5 sujetos (media de AUC ROC, la media de la sensibilidad y la media de especificidad) para ambos clasificadores.

Pregunta 2: ¿Cómo puedo calcular el p-valor para comprobar si uno es significativamente mejor que la de los otros con respecto a la media de las puntuaciones (media de AUC ROC, sensibilidad media, la media de la especificidad)?

---

Respuestas con algún ejemplo de python (preferiblemente) o código de MatLab son más que bienvenidos.

Answer 1

Permítanme mantener la respuesta corta, porque en esta guía explica mucho más y mejor.

Básicamente, usted tiene su número de Verdaderos Postives ($nTP$) y el número de Verdaderos Negativos ($nTN$). También tiene su AUC, A. El error estándar de esta es:

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

con $Q_1 = A / (2 - A)$$Q_2 = 2A^2 / (1 + A)$.

Para comparar dos miembros de las auc que usted necesita para calcular la SE de ellos, tanto en el uso de:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

donde $r$ es una cantidad que representa la correlación inducida entre las dos zonas por el estudio de la misma serie de casos. Si los casos son diferentes,$r=0$; de lo contrario, usted necesita para buscar en la Tabla 1, página 3, disponible gratuitamente en el artículo).

Dado que calcular el $z$-Puntuación por

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Desde allí se puede calcular el p-valor de densidad de probabilidad de una distribución normal estándar. O simplemente el uso de esta calculadora.

Es de esperar que las respuestas de la Pregunta 1. - al menos la parte que la comparación de miembros de las auc. Sens/Spec ya está cubierto por el ROC/AUC de alguna manera. De lo contrario, la respuesta creo que está en la Pregunta 2.

Como para la Pregunta 2, Teorema Central del Límite nos dice que su resumen de la estadística que se siga una distribución normal. Por lo tanto, yo creo que una simple t-test sería suficiente (5 medidas de un clasificador contra 5 medidas del segundo clasificador caso de las medidas podría ser AUC, sens spec)

Edit: se ha corregido la fórmula para $\texttt{SE}$ ($\ldots - 2r \ldots$)