Elegir el umbral adecuado para un sistema de autenticación de la característica biométrica

Question

Tengo un sistema de autenticación biométrica que utiliza una persona de la marcha para autenticarlos. Me extraer características de la marcha, se ejecuta a través de una comparación con una plantilla y producir una puntuación de similitud (donde si esta similitud puntuación está por debajo de un cierto umbral, entonces el usuario es autenticado). Por lo tanto, tengo 72 ensayos total (36 ensayos que contiene un caso positivo y 36 que contienen un caso negativo). Lo que quiero hacer es el gráfico de la capacidad de este sistema para autenticar a las personas por ilustrándola con un ROC gráfico.

Por desgracia, yo no entiendo muy bien cómo elegir un umbral. ¿Hay algún procedimiento matemático involucrado para la elección de un umbral para las puntuaciones de similitud? Sólo debo elegir un montón de diferentes umbrales, y el gráfico de las correspondientes curvas ROC para todos los diferentes valores de umbral? El resultado de la similitud de las puntuaciones varían de [0.6,1.2] donde los casos positivos tienden a estar alrededor de 0.6. Todos mis codificación se realiza en Matlab.

Answer 1

En general, el valor de corte elegido es tal como para maximizar el compromiso entre la sensibilidad (Se) y especificidad (Sp). Usted puede generar una secuencia regular de los umbrales y de la parcela resultante de la curva ROC, como se muestra a continuación, basado en el DiagnosisMed paquete de R.

En realidad, los datos crudos parece

  test.values TP FN FP TN Sensitivity Specificity
1       0.037 51  0 97  0           1      0.0000
2       0.038 51  0 96  1           1      0.0103
3       0.039 51  0 91  6           1      0.0619
4       0.040 51  0 84 13           1      0.1340
5       0.041 51  0 74 23           1      0.2371
6       0.042 51  0 67 30           1      0.3093

y el umbral óptimo se encuentra como

   test.values TP FN FP TN Sensitivity Specificity
47       0.194 43  8  8 89      0.8431      0.9175

Para resumir, yo sugeriría para generar una secuencia regular de posibles umbrales y calcular la Se y la Sp en cada caso; a continuación, elija el que maximizar la Se y (1-Sp) (o el uso de otros criterios, si usted desea reducir al mínimo FP o FN tasas).