El valor más alto de las métricas de traducción automática

Question

¿Alguien conoce los valores más altos y más bajos de las métricas comunes de traducción automática? $BLEU_{1-4}$ , $METEOR$ , $ROUGE_{L}$ y $CIDEr$ y $CIDEr-D$ ?

Sé que para BLEU es 1, ¿correcto? ¿Es lo mismo para todas las demás métricas mencionadas anteriormente?

Además, ¿qué pasa con $CIDEr$ y $CIDEr-D$ métrica? ¿Cuál es el valor máximo?

Answer 1

• $BLEU_{1-n}$ : mínimo 0, máximo 1.
• $METEOR$ : mínimo 0, máximo 1.
• $ROUGE_{n}$ , $ROUGE_{L}$ , $ROUGE_{S}$ : mínimo 0, máximo 1.
• $CIDEr$ : mínimo 0, máximo 1. Referencia original: {1}.
• $CIDEr-D$ ?: mínimo 0, máximo 1. $CIDEr-D$ = CIDEr Defended, llamado así por ser más robusto a los efectos del juego. Referencia original: {1}.

Ten en cuenta que a veces la gente utiliza el porcentaje. Por ejemplo, se podría decir $ROUGE_{n}=40\%$ .

{2} repasa todas estas métricas en el contexto de la evaluación del subtitulado de imágenes. Nótese que para ROUGE hay algunas pequeñas diferencias entre la forma en que {2} (y muchos otros artículos) presentan ROUGE y la implementación original de ROUGE (por ejemplo, tiene stemming).

---

Referencias:

• {1} Vedantam, Ramakrishna, C. Lawrence Zitnick y Devi Parikh. "CIDEr: Evaluación de la descripción de imágenes basada en el consenso". En Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575. 2015. https://scholar.google.com/scholar?cluster=2428149707553201565&hl=en&as_sdt=0,5 ; https://arxiv.org/abs/1411.5726
• {2} Chen, Xinlei, Hao Fang, Tsung-Yi Lin, Ramakrishna Vedantam, Saurabh Gupta, Piotr Dollár y C. Lawrence Zitnick. "Subtítulos de Microsoft COCO: Servidor de recogida y evaluación de datos". arXiv preprint arXiv:1504.00325 (2015); https://scholar.google.com/scholar?cluster=4232572309886474756&hl=en&as_sdt=0,5 ; https://arxiv.org/abs/1504.00325