Promedio de precisión y recuperación cuando se utiliza la validación cruzada

Question

Me han realizado la clasificación de uso de múltiples clasificadores para un 2-clases de etiquetado de datos, y la he usado 5 veces validación cruzada. Para cada una de las veces he calculado tp, tn, fp y fn. A continuación, he calculado la exactitud, la precisión, recall y F-score para cada prueba. Mi pregunta es, cuando quiero que el promedio de los resultados, que tomó el promedio de las precisiones, pero puedo promedio de precisión, recall y F-score? O sería matemáticamente mal? P. S. Los conjuntos de datos utilizados en cada una de las veces están bien equilibrados en cuanto al número de instancias por clase.

Gracias.

Answer 1

El $F$-score, asumiendo que usted está utilizando la definición habitual, ya es una combinación de la precisión y el recall. Específicamente, es la media armónica de ellos. En otras palabras $$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$$ It's meant to capture the 'effectiveness' of a system where the user places equal weights on precision and recall. There's an extension, called the $F_\beta$ score, which gives $\beta$ veces más peso a recordar que la precisión. $$ F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}} $$ Por otro lado, si usted se está preguntando si usted puede rondar el 5 $F$ los resultados (uno de cada pliegue), entonces la respuesta es sí. De hecho, esa es la típica manera de informar sobre el rendimiento de un sistema!

Acaba de ser conscientes de que hay algunos problemas con el uso de estos valores para hacer inferencias acerca de los clasificadores' generalización de error. Por ejemplo, $t$- prueba entre el $F$ los resultados de un clasificador y el $F$ los resultados de otro clasificador va a ser demasiado optimista.