¿Cuáles son los valores correctos de la precisión y el recuerdo cuando los denominadores son iguales a 0?

Question

La precisión se define como:

p = verdaderos positivos / (verdaderos positivos + falsos positivos)

¿Cuál es el valor de la precisión si (verdaderos positivos + falsos positivos) = 0? ¿Es simplemente indefinido?

La misma pregunta para la retirada:

r = verdaderos positivos / (verdaderos positivos + falsos negativos)

En este caso, ¿cuál es el valor del recuerdo si (verdaderos positivos + falsos negativos) = 0?

P.D. Esta pregunta es muy similar a la pregunta ¿Cuáles son los valores correctos de la precisión y el recuerdo en los casos límite? .

Answer 1

Las respuestas a la pregunta anterior enlazada también se aplican aquí.

Si (verdaderos positivos + falsos negativos) = 0, entonces no hay casos positivos en los datos de entrada, por lo que cualquier análisis de este caso no tiene información, y por lo tanto ninguna conclusión sobre cómo se manejan los casos positivos. Se desea que el resultado de la proporción sea N/A o algo similar, evitando un división por cero error

Si (verdaderos positivos + falsos positivos) = 0, entonces todos los casos se han predicho como negativos: este es un extremo de la curva ROC. Una vez más, hay que reconocer e informar de esta posibilidad y evitar un división por cero error.

Answer 2

Aquí se ofrece una respuesta interesante: https://github.com/dice-group/gerbil/wiki/Precision,-Recall-and-F1-measure

Los autores del módulo dan diferentes puntuaciones para la precisión y el recuerdo dependiendo de si los verdaderos positivos, los falsos positivos y los falsos negativos son todo 0. Si lo son, el resultado es ostensiblemente bueno.

En algunos casos raros, el cálculo de Precisión o Recall puede provocar una división por 0. En cuanto a la precisión, esto puede ocurrir si no hay no hay resultados dentro de la respuesta de un anotador y, por tanto, la precisión como los falsos positivos son 0. Para estos casos especiales, hemos definido que si los verdaderos positivos, los falsos positivos y los falsos negativos son todos 0, la precisión, el recuerdo y la medida F1 son 1. Este puede ocurrir en los casos en los que el patrón oro contiene un documento sin anotaciones y el anotador (correctamente) no devuelve ningún anotaciones. Si los verdaderos positivos son 0 y uno de los otros dos contadores es mayor que 0, la precisión, el recuerdo y la medida F1 son 0.

No estoy seguro de si este tipo de puntuación sería útil en otras situaciones fuera de su caso especial, pero vale la pena pensarlo.

Answer 3

Cuando se evalúa un clasificador con umbrales altos, la precisión puede (a menudo) no ser 1 cuando la recuperación es 0. ¡Suele ser N/A! Creo que hay un error en la forma de trazar la curva P/R. Evitar las muestras N/A es un sesgo en el sentido de que se evitan las muestras de singularidad. He calculado la precisión media en relación con la recuperación media ignorando las muestras no disponibles y nunca he conseguido un clasificador que comience en 1 para una recuperación de 0 para una red neuronal poco profunda en la detección de objetos. Esto también fue cierto para las curvas calculadas con los números tp,fp,fn. Es bastante fácil de verificar con papel y lápiz con una sola imagen. Por ejemplo: Tengo un clasificador que produce para una sola imagen preds=[.7 .6 .5 .1 .05] truth=[n y n n y ] Calculando las matrices de confusión con los distintos umbrales tenemos: tp=[2 1 1 0 0],fn=[0 1 1 2 2],fp=[3 3 2 1 0]. el recall rec=[1 .5 .5 .5 0 0], y la precisión=[.4 .25 1/3 .5 0 NaN]. No veo que tenga sentido sustituir un NaN o la precisión(@recall==0) por 1. 1 debería ser un límite superior, no un valor con el que sustituimos la precisión(@recall==0).