¿Existe algún método estándar para determinar un punto de funcionamiento "óptimo" en un precisión de la memoria ¿Curva? (es decir, determinar el punto de la curva que ofrece un buen equilibrio entre precisión y recuperación)
Gracias
Respuestas
¿Demasiados anuncios?
La definición de "óptimo" dependerá, por supuesto, de sus objetivos específicos, pero he aquí algunos métodos relativamente "estándar":
-
Punto de igual tasa de error (EER): el punto en el que la precisión es igual a la recuperación. A algunas personas les parece un punto de funcionamiento "natural".
-
Una versión refinada y con más principios de lo anterior es especificar el coste de los diferentes tipos de errores y optimizar ese coste. Digamos que clasificar erróneamente un elemento (un error de precisión) es dos veces más caro que omitir un elemento por completo (error de recuperación). Entonces el mejor punto de funcionamiento es aquel en el que (1 - recall) = 2*(1 - precisión).
-
En algunos problemas, la gente tiene una tasa mínima natural aceptable de precisión o recuerdo. Digamos que sabes que si más del 20% de los datos recuperados son incorrectos, los usuarios dejarán de utilizar tu aplicación. En ese caso, lo natural es fijar la precisión en el 80% (o un poco menos) y aceptar la recuperación que se tenga en ese momento.
James Sutherland
Puntos
2033
Siguiendo con los puntos segundo y tercero de SheldonCooper: La opción ideal es tener otra persona hacer la elección, ya sea en forma de umbral (punto 3) o de compensación coste-beneficio (punto 2). Y quizá la mejor manera de ofrecerles la elección sea con un Curva ROC .
stkent
Puntos
108
C.T.
Puntos
1
Sí, el punto más cercano a (1,1) es una forma de elegir un umbral óptimo. Esto se puede hacer sistemáticamente con una publicación reciente como el error LRP o el método basado en la puntuación F1 para seleccionar el umbral óptimo.
- En el primer método, el umbral de confianza óptimo es aquel en el que se observa el mínimo error de PRL LRP Metric .
- En el segundo método, el umbral de confianza óptimo es aquel en el que se observa la máxima puntuación F1 Método basado en la puntuación F1 .
