«La estimación de la calidad es la pieza clave que le falta a la traducción automática».

5 min read

Esto es lo que me dijo el otro día João Graça, cofundador y director tecnológico de Unbabel, mientras tomábamos un café. Lo cierto es que las máquinas no siempre funcionan bien, y todos sabemos lo embarazosa que puede llegar a ser una mala traducción.

Pero, ¿cómo se puede saber cuándo una traducción automática es de mala calidad? ¿Es posible detectar dónde se han cometido los errores? Resulta que hay todo un campo de estudio al respecto y, tanto João como André Martins, jefe de investigación de Unbabel, son dos de los principales investigadores que existen en este ámbito en todo el mundo.

Me senté con ambos para hablar sobre el galardonado sistema de estimación de la calidad de Unbabel y su funcionamiento, así como sobre nuestras herramientas automáticas de posedición. Dos temas que se debatirán en la AMTA 2018 (Asociación para la Traducción Automática en las Américas), en un taller dirigido por el equipo de Unbabel el 21 de marzo de 2018.

¿Qué es la estimación de la calidad de las traducciones?

El objetivo de la estimación de la calidad es evaluar la calidad de un sistema de traducción sin tener acceso a traducciones de referencia. Según André Martins, se puede utilizar con muchos fines diferentes:

  • Informar a un usuario final acerca de la fiabilidad del contenido traducido.
  • Decidir si una traducción está lista para publicarse o si es necesaria una posedición humana.
  • Destacar las palabras que hay que cambiar.

«El propósito es entregar las traducciones de forma rápida y reducir los costes».

Pero, ¿cómo funciona nuestro sistema de estimación de la calidad de las traducciones?

Sistema galardonado de estimación de la calidad de las traducciones de Unbabel

Llevamos trabajando en la estimación de la calidad de las traducciones y en las herramientas de posedición automática desde que se fundó Unbabel, hace casi 5 años, lo que nos permite ofrecer traducciones de calidad humana a una escala equiparable a la que se puede ofrecer cuando las traducciones son automáticas.

En palabras de João Graça: «En Unbabel, contamos con un galardonado sistema de estimación de la calidad que garantiza que, si una traducción no es buena, nuestra comunidad de 55 000 editores la revise, corrija los errores muy rápidamente y entregue una traducción de gran calidad a nuestros clientes. Y, cuanto más traducimos, más aprende el sistema y menos errores comete».

Esto hace que el sistema de estimación de la calidad sea uno de los componentes clave del proceso de traducción de Unbabel.

¿Como es esto posible?

«Revisamos las correcciones hechas por los editores al texto traducido automáticamente y, con estos datos, podemos entender el tipo de correcciones que estos suelen hacer. Esto nos permite detectar patrones que nos ayudan a saber de una forma exacta qué es lo que debe editarse en textos similares antes de involucrar a personas en el proceso», dice André Martins.

Si la traducción tiene una buena puntuación, se envía al cliente sin involucrar a ninguna persona en el proceso. Sin embargo, cuando la puntuación es baja, el sistema identifica las palabras que son incorrectas, lo cual permite a los poseditores prestar especial atención a las partes de las oraciones que deben modificarse.

Pero eso no es todo. «También hemos desarrollado una herramienta denominada Smartcheck que busca errores gramaticales o cualquier otra cosa que no esté en consonancia con las pautas que el cliente nos ha dado», explica André.

¿Qué hay de la posedición automática?

Podemos considerar la estimación de la calidad como una forma de detectar errores en la traducción y la posedición automática como una forma de corregir esos errores», dice André Martins.

En Unbabel, también hemos combinado la estimación de la calidad con la posedición automática y hemos observado que los beneficios son enormes cuando estas dos tecnologías se entrenan o se aplican a la vez.

«Dada la similitud existente entre la estimación de la calidad y la posedición automática, decidimos unir nuestros esfuerzos para ver cómo podíamos lograr mejores resultados. Así que nos asociamos con Marcin Junczys-Dowmunt, de la Universidad Adam Mickiewicz, y combinamos su sistema de posedición automática con nuestro sistema de estimación de la calidad. Los resultados fueron bastante impresionantes. Conseguimos mejorar la puntuación más alta que habíamos conseguido previamente en cuanto a palabras, que pasó de un 49,5 % a un 57,5 %. Además, pudimos crear un sistema de puntuación de calidad para las oraciones», explica João Graça.

Taller de Unbabel en la AMTA 2018

La estimación de la calidad es un tema que se debate a menudo en el ámbito de la investigación, pero, según João Graça, «no tanto en la industria». Así que, la idea de este taller es «reunir a personas que trabajan en la estimación de la calidad y repasar con qué finalidades se ha utilizado en muchos sistemas diferentes», comenta João.

Esto permitirá una mejor comprensión del futuro de la estimación de la calidad y hará que esta pueda llegar a ser más útil para la industria.

Si estás interesado en obtener más información acerca del sistema de estimación de la calidad de Unbabel, echa un vistazo más detenidamente y, si vas a estar en Boston a finales de marzo, participa en el taller de la AMTA 2018.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon