Una de las tareas más importantes de las que nos ocupamos en Unbabel es la de garantizar que las traducciones que entregamos son de gran calidad. Pero ¿cómo sabemos si una traducción en particular es de buena calidad? Diferentes personas pueden tener distintos puntos de vista acerca de si un texto está bien traducido o no. Incluso la misma persona puede tener una percepción diferente con respecto a la misma traducción si se le pide que la evalúe con varias semanas de diferencia. Existen muchos factores que contribuyen a la naturaleza subjetiva de la traducción, ya que el lenguaje de las personas está influenciado por el lugar donde se han criado, la forma de hablar de sus padres, los libros que han leído… en definitiva, por cómo se comunican a diario.

Como traductora profesional, cuando trabajaba como revisora de grandes proyectos, a veces me costaba diferenciar lo que era incorrecto de lo que estaba expresado de una forma diferente a cómo lo hubiera hecho yo. De hecho, lo que me a mí me parece idiomático puede que a otra persona no se lo parezca, aunque seamos del mismo país, ya que es posible que procedamos de regiones, generaciones o clases sociales diferentes.

Me di cuenta de que tener instrucciones con ejemplos concretos del tipo de cambios que eran innecesarios al revisar me ayudaba a entender mejor el alcance de mi trabajo. Y el ser plenamente consciente de las especificaciones del proyecto y, sobre todo, entender quiénes eran los destinatarios de la traducción, también me ayudaba a no emplear tiempo en hacer cambios que, objetivamente, no mejoraban la calidad de la traducción.

Esta subjetividad inherente (al fin y al cabo, no existe una única traducción correcta) conlleva grandes desafíos cuando el objetivo es mejorar la calidad de las traducciones generadas por nuestros sistemas de traducción automática y perfeccionadas por nuestra comunidad de editores.

El marco Multidimensional Quality Metrics

Identificar una mala traducción es bastante sencillo, ¿verdad? Todos nos hemos reído de errores de traducción automática, como cuando el traductor de Google pensó que «Ooga Booga Wooga» era somalí, o cuando un hotel de la capital del Kurdistán iraquí intentó traducir la opción de albóndigas de un bufé que, al no tener un equivalente directo en árabe, se transcribió como ميت بول, lo cual se acompañó de esta alarmante traducción al inglés: «Paul is dead» («Paul está muerto» en español).

Pero la tecnología de la traducción automática ha mejorado enormemente en los últimos años y cada vez es más difícil encontrar errores tan llamativos. A menudo, son mucho más sutiles. Por ejemplo, si escribes «lo pillaron conduciendo a 120 km/h» en la interfaz de un sistema gratuito de traducción automática, te aparecerá traducido al inglés como «he was caught driving 70 mph». ¡Suena bien! Incluso convierte las unidades. Pero 120 km/h no son 70, sino 75 mph, así que se trata de una traducción errónea que puede afectar seriamente a la calidad final del texto.

No es raro que la traducción automática neuronal de última generación genere textos que se lean muy bien pero que tengan un significado diferente al del texto original. Pero esto no es algo exclusivo de las máquinas, errar también es humano, e incluso los traductores expertos a veces cometen errores.

Por lo tanto, para identificar áreas de mejora, tanto en nuestros sistemas de traducción automática como en nuestra comunidad de editores y promover la excelencia en el trabajo que tanto unos como otros llevan a cabo, necesitamos un método efectivo y preciso que permita evaluar la calidad de las traducciones. Y esto nos lo proporciona el marco Multidimensional Quality Metrics (MQM) , desarrollado como parte del proyecto QTLaunchPad, financiado por la UE y destinado a reducir las barreras idiomáticas mundiales.

El MQM proporciona un sistema completo, jerárquico, flexible y estandarizado que nos permite identificar y abordar problemas que afectan a la calidad de la traducción. En concreto, el MQM ofrece una amplia tipología de problemas, distintas gravedades y un mecanismo de puntuación para cuantificar la calidad de las traducciones.

Teniendo en cuenta el propósito o el público al que va dirigido el texto, el MQM nos permite definir un parámetro de calidad personalizado, con más o menos granularidad. Esto es útil para aquellos casos en los que a un cliente no le interesan ciertos problemas, como por ejemplo, los relacionados con la puntuación. En estos casos, podemos ajustar el MQM para que no se tengan en cuenta estos problemas. El MQM nos permite medir aquello que es importante para nuestros clientes y adaptar nuestro criterio de calidad al suyo.

Nuestro método de trabajo

Con un parámetro de calidad definido, los lingüistas expertos anotamos los errores en nuestra propia herramienta de anotación. El proceso de anotación consiste en marcar el error encontrado, clasificarlo según la lista de errores, que está totalmente personalizada, y asignarle una gravedad. En Unbabel, utilizamos un parámetro que se ajusta al MQM y que consta de las siguientes categorías principales, cada una con su propio conjunto de subcategorías:

Exactitud

Esta dimensión caracteriza los problemas que tienen que ver con la forma en la que la traducción transmite el significado del texto original. Algunos errores famosos relacionados con la exactitud han generado confusión… o hilaridad. Como el caso de Steven Seymour, traductor del presidente estadounidense Carter en una visita que este hizo a Polonia en 1977. Cuando el presidente dijo que estaba contento de estar allí, Seymour lo tradujo como que estaba «contento de agarrar las partes pudendas de Polonia», según informó la revista Time. En este caso, lo único que se vio perjudicado fueron las reputaciones de Carter y del traductor, pero estos errores pueden provocar problemas graves de comunicación y, según algunos, pueden incluso haber contribuido a la ruptura de las relaciones políticas en tiempos de guerra.

Fluidez

La fluidez se refiere a lo natural que suena el texto en el idioma de destino. Los problemas de fluidez pueden darse en cualquier tipo de contenido, no solo en las traducciones. Estos títulos de películas contienen un montón de problemas de fluidez, algunos de los cuales son, sin duda, deliberados.

Estilo

Los problemas de estilo ocurren cuando la traducción no cumple con los requisitos especificados en cuanto al registro o la terminología. No ser lo suficientemente amable cuando te diriges a un cliente japonés puede considerarse muy ofensivo. Los problemas de terminología también se incluyen en esta categoría. Por ejemplo, el uso de « trash» en lugar de «bin» en un contexto MacOs puede generar malentendidos a la hora de proporcionar asistencia técnica.

Además de clasificar los problemas en una de las tres categorías y subcategorías anteriores, nuestros expertos lingüistas asignan a cada error una de las siguientes gravedades: leve, grave y crítico.

Los errores leves no afectan al propósito ni a la capacidad de comprensión del texto, pero pueden hacer que este resulte menos atractivo. Por ejemplo, en español, la forma recomendada de escribir un porcentaje escon un espacio entre el dígito y el símbolo, es decir,20 % en lugar de 20%. Aunque una traducción no respete esto, puede ser igualmente aceptable y comprensible.

Los errores graves afectan el propósito o a la comprensibilidad del contenido. Un error grave sería, por ejemplo, el uso de una estructura gramatical que hiciese que una oración fuese difícil de entender, pero que se mantuviese el propósito general del texto original en el texto traducido. Por ejemplo, una conversación de chat donde la frase final sea: «¡Avíseme si hay algo más que pueda por usted!».

Los errores críticos difieren de los graves en que los primeros pueden acarrear consecuencias negativas. Hacen que la traducción sea inservible y que pueda considerarse ofensiva o tener consecuencias sanitarias, de seguridad, jurídicas o financieras. Por ejemplo, imagínate que estuvieses proporcionando información a un cliente sobre una garantía, que el texto original estuviese en inglés de Estados Unidos y que pusiese que la fecha de vencimiento es el 11/12/20 (12 de noviembre de 2020). Si se tradujese al español como 11/12/20 (11 de diciembre de 2020), el cliente podría perder sus derechos legales de garantía porque creyese que disponía de más tiempo para presentar una reclamación del que realmente tenía.

Cada uno de los grados de gravedad anteriores se asocia con puntos de penalización que luego se dividen entre el número total de palabras de la traducción. Después, una sencilla fórmula tiene en cuenta el número y la gravedad de los errores, así como la longitud del texto, y nos proporciona un valor numérico que representa la calidad de la traducción en función de las especificaciones establecidas al comienzo del proyecto.

Mejora continua

Como el MQM está muy estandarizado, el uso de un parámetro que se ajusta al MQM ayuda a mitigar la subjetividad en la evaluación de la calidad de la traducción. Pero como muchos académicos y el sector saben, ningún parámetro hace que la subjetividad desaparezca por completo.

Por ejemplo, si el texto original pone «Me encanta Lisboa» y en la traducción se escribe Lisboa con minúsculas, ¿de qué tipo de error se trata? ¿Es un error relacionado con la entidad o con las mayúsculas ?

Trabajamos de forma constante para reducir esta subjetividad irremediable y proporcionamos a los lingüistas muchas directrices de anotación y materiales de formación con ejemplos. Estamos en contacto permanente con ellos para ayudarlos a resolver dudas o aclarar problemas, y estas interacciones, a su vez, nos ayudan a mejorar nuestras pautas y lograr que estas sean más claras.

En general, el MQM ha demostrado ser un marco muy útil para evaluar la calidad de las traducciones de manera sistemática, al permitirnos identificar problemas lingüísticos complejos y actuar en consecuencia. Pero no importa cuántas fórmulas y pautas desarrollemos para controlar el proceso, la formas específicas en las que utilizamos el lenguaje, su subjetividad y sus peculiaridades hacen que la traducción tenga una parte de ciencia y otra de arte. Siempre será así. Y no la entenderíamos de ninguna otra forma.