ImageNet: ¿cuál es la tasa de error top-1 y top-5?

Question

En los documentos de clasificación de ImageNet, las tasas de error top-1 y top-5 son unidades importantes para medir el éxito de algunas soluciones, pero ¿cuáles son esas tasas de error?

En Clasificación de ImageNet con redes convolucionales profundas Convolucionales Profundas de Krizhevsky et al. cada solución basada en una sola CNN (página 7) no tiene tasas de error entre las 5 mejores, mientras que las que tienen 5 y 7 CNN sí las tienen (y además la tasa de error de 7 CNN es mejor que la de 5 CNN).

¿Significa esto que la tasa de error top-1 es la mejor tasa de error para una sola CNN?

¿La tasa de error del top-5 es simplemente la tasa de error acumulada de cinco CNN?

Answer 1

[...] donde la tasa de error top-5 es la fracción de imágenes de prueba para las que la etiqueta correcta no está entre las cinco etiquetas consideradas más probables por el modo.

En primer lugar, se realiza una predicción con la CNN y se obtiene la distribución multinomial de la clase predicha ( $\sum p_{class} = 1$ ).

Ahora, en el caso del top-1 se comprueba si la clase superior (la de mayor probabilidad) es la misma que la etiqueta objetivo.

En el caso del top-5 se comprueba si la etiqueta de destino es una de sus 5 mejores predicciones (las 5 con mayores probabilidades).

En ambos casos, la puntuación máxima se calcula como el número de veces que una etiqueta predicha coincide con la etiqueta objetivo, dividido por el número de puntos de datos evaluados.

Por último, cuando se utilizan 5-CNN, primero se hace un promedio de sus predicciones y se sigue el mismo procedimiento para calcular las puntuaciones top-1 y top-5.

Answer 2

Su clasificador le da una probabilidad para cada clase. Supongamos que sólo tenemos como clases "gato", "perro", "casa" y "ratón" (en este orden). Entonces el clasificador da algo como

0.1; 0.2; 0.0; 0.7

como resultado. La clase Top-1 es "ratón". Las clases top-2 son {ratón, perro}. Si la clase correcta fuera "perro", se contaría como "correcta" para la precisión Top-2, pero como incorrecta para la precisión Top-1.

Por lo tanto, en un problema de clasificación con $k$ clases posibles, cada clasificador tiene un 100% de $k$ precisión. La precisión "normal" es la del top-1.