Métrica automática que puntúa una traducción según cuántas secuencias de palabras comparte con una o más traducciones humanas de referencia; fue la vara de la traducción automática durante dos décadas.
Papineni et al. (2002), de IBM, presentaron BLEU como un understudy (actor
suplente) de los evaluadores humanos de traducción automática: una traducción es mejor cuanto más se parece a una
traducción profesional.
Cómo se calcula. Se cuentan los n-gramas del candidato (secuencias de 1 a 4 palabras)
que aparecen en las referencias, con un tope: cada uno cuenta a lo sumo tantas veces como
figura en una referencia. Sin ese recorte, the the the the the the the tendría precisión
perfecta contra The cat is on the mat; con él, 2/7. La media geométrica de las cuatro
precisiones pₙ se multiplica por una penalización por brevedad, porque omitir también evita
errores: BLEU = BP · exp(Σ ¼ · log pₙ). Ni un traductor humano llega a 1: en el artículo
original, uno obtuvo 0,35 contra cuatro referencias. Con esta vara se midió el
Transformer: 28,4 puntos (sobre 100) en inglés–alemán (Vaswani et al., 2017, sec. 6.1).
Límites. BLEU mira la forma, no el significado (forma vs significado):
una paráfrasis correcta con otras palabras pierde puntos. Callison-Burch et al. (2006)
mostraron que una oración admitía al menos 40.320 permutaciones con puntaje similar y
que BLEU subestimaba a un sistema basado en reglas que los jueces valoraban.
Cuando Google optimizó BLEU por refuerzo, el puntaje subió de 40,35 a 41,16, pero la
evaluación humana no mejoró (4,46 contra 4,44) (Wu et al., 2016, sec. 8.6): la
ley de Goodhart en miniatura. Tras revisar 284 correlaciones, Reiter (2018)
concluye que BLEU sirve para comparar sistemas de traducción, no para juzgar textos
individuales ni otras tareas. Y no capta coherencia, fluidez ni corrección
(Alammar y Grootendorst, 2024, p. 374).
En el vocabulario de Wittgenstein, BLEU sería un síntoma de la buena traducción, no un
criterio: se correlaciona con ella como el barómetro con la lluvia (Wittgenstein, 1953/2009, §354). ¿Por qué un síntoma de superficie funciona bien al promediar miles de oraciones y mal
en cada una?
Fuentes
- Alammar, J., & Grootendorst, M. (2024). Hands-on large language models: Language understanding and generation. O’Reilly Media. §
- Callison-Burch, C., Osborne, M., & Koehn, P. (2006). Re-evaluating the role of BLEU in machine translation research. In D. McCarthy & S. Wintner (Eds.), 11th Conference of the European Chapter of the Association for Computational Linguistics (pp. 249–256). Association for Computational Linguistics. https://aclanthology.org/E06-1032/ §
- Papineni, K., Roukos, S., Ward, T., & Zhu, W.-J. (2002). BLEU: A method for automatic evaluation of machine translation. In P. Isabelle, E. Charniak, & D. Lin (Eds.), Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (pp. 311–318). Association for Computational Linguistics. https://doi.org/10.3115/1073083.1073135 §
- Reiter, E. (2018). A structured review of the validity of BLEU. Computational Linguistics, 44(3), 393–401. https://doi.org/10.1162/coli_a_00322 §
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. In Advances in Neural Information Processing Systems (Vol. 30). Curran Associates. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html §
- Wittgenstein, L. (2009). Philosophical investigations (G. E. M. Anscombe, P. M. S. Hacker, & J. Schulte, Trans.; P. M. S. Hacker & J. Schulte, Eds.; Rev. 4th ed.). Wiley-Blackwell. (Original work published 1953) §
- Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., Krikun, M., Cao, Y., Gao, Q., Macherey, K., Klingner, J., Shah, A., Johnson, M., Liu, X., Kaiser, Ł., Gouws, S., Kato, Y., Kudo, T., Kazawa, H., . . . Dean, J. (2016). Google’s neural machine translation system: Bridging the gap between human and machine translation (arXiv:1609.08144). arXiv. https://doi.org/10.48550/arXiv.1609.08144 §
