¿Cómo calcular el IC del 95 % para la puntuación F1 y el coeficiente de correlación de Matthews?

Question

¿Cómo puedo calcular el intervalo de confianza del 95% para la puntuación F1, el coeficiente de correlación de Matthews y la fracción correcta ((VN+VP)/(VP+VN+FP+FN)) cuando estoy evaluando el rendimiento de una prueba diagnóstica binomial?

Answer 1

Una respuesta predeterminada para obtener un intervalo de confianza para una cantidad para la cual no tienes una fórmula de intervalo de confianza simple es hacer bootstrap. Repetidamente extraes el número total de registros con reemplazo de tus datos y luego calculas la métrica de interés en cada uno de estos conjuntos de datos bootstrap. Con esta lista de métricas calculadas, calculas un intervalo de confianza bootstrap.

Para la corrección de fracciones, sensibilidad y especificidad, cualquier método para obtener un intervalo de confianza binomial también funcionará perfectamente. Para la puntuación F1, esto no es tan simple. Te acercas al intervalo de confianza bootstrap si usas los percentiles 2.5 y 97.5 de una distribución beta con parámetros puntuación F1 * (TP + FP + FN) y (1 - puntuación F1) * (TP + FP + FN) (o quizás agregar 1/3 o 1/2 a cada uno de estos). Esto está motivado por tomar un enfoque bayesiano con priors muy vagos.

Answer 2

F1, MCC y otras métricas similares se pueden considerar como proporciones, ya que están en [0,1]. El intervalo de confianza de la proporción binomial se puede estimar con (usando la aproximación normal)