Uma das tarefas mais importantes aqui na Unbabel é oferecer traduções de elevada qualidade. Mas como sabemos se uma tradução específica é de elevada qualidade? Diferentes pessoas podem ter perspetivas diferentes sobre aquilo que define uma boa tradução. Inclusive, a mesma pessoa pode ter uma perceção diferente da mesma tradução, se lhe for solicitada uma avaliação com algumas semanas de diferença. Muitos fatores contribuem para a natureza subjetiva da tradução: a língua das pessoas é moldada pelo lugar onde cresceram, a língua dos seus pais, os livros que lêem… e também pela comunicação quotidiana.

Como profissional de tradução, quando efetuei revisões de grandes projetos de tradução, às vezes não era fácil distinguir entre o que estava errado e o que tinha sido escrito de uma forma que eu não escreveria. De facto, o que pode parecer idiomático para mim, pode não parecer idiomático para outra pessoa, mesmo se formos do mesmo país – ela pode ser de outra região, geração ou classe social.

Descobri que ter instruções, com exemplos concretos acerca dos tipos de alterações que seriam desnecessárias na revisão, ajudava-me a entender melhor o âmbito do meu trabalho. E também me ajudava ter pleno conhecimento das especificações do projeto, principalmente ter a perceção de quem era o público da tradução; assim, não perdi tempo a efetuar alterações que objetivamente não melhoravam a qualidade da tradução.

Esta subjetividade inerente – já que não existe apenas uma tradução correta – traz grandes desafios quando o objetivo é melhorar a qualidade das traduções produzidas pelos nossos sistemas de tradução automática e aperfeiçoadas pela nossa comunidade de editores.

Métricas de qualidade multidimensionais: um enquadramento

É certo que identificar uma tradução má é fácil, não é? Já todos nos rimos de erros de tradução automática, como quando o Google Translate confundiu “Ooga Booga Wooga” com a língua somali ou quando um hotel na capital do Curdistão iraquiano tentou traduzir a opção de almôndega num buffet – uma expressão que, por não ter um equivalente direto, em árabe, foi transliterada como ميت بول, e acompanhada por esta alarmante tradução em inglês: “O Paul está Morto”.

Mas a tecnologia de tradução automática melhorou tremendamente nos últimos anos e encontrar erros assim tão marcantes é cada vez mais difícil. Frequentemente, eles são muito mais subtis. Por exemplo, quando escreves “Lo pillaron conduciendo a 120 km/h” na interface de um sistema de tradução automática online gratuito, a tradução apresentada é “Ele foi apanhado a conduzir a 70 mph”. Parece boa! Até converte as unidades. Porém, na verdade, 120 km/h equivale a cerca de 75 mph; esta é uma tradução incorreta que pode afetar seriamente a qualidade final da tradução.

Não é incomum que a atual tradução automática neuronal produza textos que têm uma boa leitura, mas que têm um significado diferente do texto original. No entanto, não estamos livres de erros – errar (também) é humano e até os tradutores especializados às vezes cometem erros.

Portanto, para identificar áreas de melhoria, tanto nos nossos sistemas de tradução automática, quanto na nossa comunidade de editores e impulsioná-los para a excelência, precisamos de um método eficaz e preciso para avaliar a qualidade da tradução. Para nós, isso é fornecido pela Métrica Multidimensional de Qualidade (MQM) , desenvolvida como parte do projeto QTLaunchPad, financiado pela UE, com o objetivo de reduzir as barreiras linguísticas globais.

A MQM fornece um sistema abrangente, hierárquico, flexível e padronizado que nos permite identificar e solucionar problemas de qualidade da tradução. Especificamente, a MQM fornece uma tipologia extensa de problemas, um conjunto de gravidades e um mecanismo de pontuação para quantificar a qualidade da tradução.

Com base nos requisitos específicos de um projeto de tradução, como o objetivo ou o público-alvo do texto, a MQM permite-nos definir uma métrica de qualidade personalizada, com mais ou menos granularidade. Isso é útil nos casos em que um cliente não está interessado em determinados problemas, por exemplo, aqueles relacionados com a pontuação. Quando esse caso ocorre, podemos ajustar a MQM para não ter esses problemas em consideração. A MQM permite-nos medir o que importa para os nossos clientes e adaptar a noção de qualidade à deles.

A nossa abordagem

Com uma métrica de qualidade definida, linguistas especialistas realizam anotações de erro na nossa própria ferramenta de anotação. O processo de anotação envolve, para cada erro encontrado, primeiro, apontar a extensão do erro; classificando-o na lista de problemas de um determinado índice pré-definido e, finalmente, atribuindo-lhe a respetiva gravidade. Na Unbabel, usamos uma métrica compatível com a MQM, com as seguintes categorias de nível superior, cada uma contendo o seu próprio conjunto de subcategorias:

Precisão

Esta dimensão caracteriza questões que têm a ver com o quão bem a tradução transmite o significado do texto de origem. Existem alguns problemas de precisão infames que resultaram em confusão… ou hilaridade. Por exemplo, quando Steven Seymour, que foi o tradutor do Presidente Carter dos EUA numa visita à Polónia em 1977, traduziu o facto de estar feliz por estar lá como estando “feliz por conhecer as partes íntimas da Polónia”, conforme publicado pela revista Time. Neste caso, apenas a reputação de Carter – e do tradutor – foi lesada, mas estes erros podem levar a sérias falhas na comunicação e há pessoas que defendem que podem até ter contribuído para o colapso das relações políticas em tempos de guerra.

Fluência

A fluência diz respeito à naturalidade do texto no idioma de destino. Os problemas de fluência podem ocorrer em qualquer conteúdo, não apenas nas traduções. Estes títulos de filmes contêm vários problemas de fluência, alguns dos quais são definitivamente deliberados.

Estilo

Os problemas de estilo ocorrem quando a tradução não cumpre os requisitos especificados em relação ao registo ou terminologia. Enganar-se no registo ao dirigir-se a um cliente japonês é considerado muito ofensivo. Os problemas de terminologia também se enquadram nessa categoria: por exemplo, usar ” Trash ” em vez de ” Bin ” num contexto MacOs pode resultar em mal-entendidos ao fornecer apoio técnico.

Além de categorizar os problemas em relação às três categorias acima, e as suas subcategorias, os nossos linguistas especializados atribuem a cada irregularidade os três seguintes níveis de gravidade: menor, maior e grave.

Problemas menores não afetam o objetivo ou a compreensão do conteúdo, mas podem torná-lo menos atraente. Por exemplo, em espanhol, a maneira recomendada de traduzir uma percentagem como 20% é 20 %, com um espaço entre o dígito e o símbolo. Se uma tradução não respeitar isto, ainda poderá ser uma tradução adequada e compreensível.

Os problemas maiores afetam o propósito ou a compreensão do conteúdo. Um exemplo de um problema maior seria um erro gramatical que dificulta a compreensão de uma frase, mas onde o objetivo geral do texto de origem ainda é mantido na tradução. Pense numa conversa de chat em que a frase final seja: “Diga-me se houver mais alguma coisa em que eu possa ajudar, a qualquer momento!”

Os problemas graves diferem dos maiores porque resultam em resultados negativos. Eles tornam a tradução inútil e podem ter implicações de saúde, segurança, legais ou financeiras, ou podem ser vistos como ofensivos. Por exemplo: imagine, ao fornecer informações de garantia a um cliente, que o original em inglês dos EUA diga que a data de vencimento é 11/12/20 (12 de novembro de 2020). Se a tradução para espanhol disser 11/12/20 (11 de dezembro de 2020), o cliente poderá perder os seus direitos legais de garantia porque acha que tem mais tempo para fazer uma reclamação do que realmente tem.

Cada um dos níveis de gravidade acima, está associado a pontos de penalização, que são divididos pelo número total de palavras na tradução. Logo após, uma fórmula simples tem em consideração a contagem e a gravidade dos problemas e o tamanho do texto e fornece uma medida numérica da qualidade da tradução, com base nas especificações definidas no início do projeto.

Está continuamente a melhorar

Como a MQM é fortemente padronizada, o uso de uma métrica compatível com a MQM ajuda a reduzir a subjetividade na avaliação da qualidade da tradução. Mas, como muitos académicos e a indústria sabem, nenhuma métrica faz com que a subjetividade desapareça completamente.

Por exemplo, se tivermos “Eu amo Lisboa” no texto original e a tradução for lisboa, sem L maiúsculo, com que tipo de erro nos deparamos? É uma questão de entidade ou uma questão de maiúsculas ?

Estamos sempre a trabalhar para reduzir essa subjetividade inevitável, guiando o processo de anotação, fornecendo aos linguistas diretrizes abrangentes e materiais de formação com exemplos. Estamos constantemente em contacto com eles, para os ajudar a resolver dúvidas quando aparecem ou a esclarecer problemas, e essas interações, por sua vez, ajudam-nos a melhorar as nossas diretrizes para que, com o tempo, elas se tornem melhores e mais claras.

Acima de tudo, a MQM, ou Métrica Multidimensional de Qualidade, revelou ser uma estrutura muito útil para avaliar sistematicamente a qualidade das traduções, permitindo a identificação e gestão de questões linguísticas complexas. Mas independentemente de quantas fórmulas e diretrizes desenvolvamos para controlar o processo, as formas peculiares como usamos a linguagem, a sua subjetividade e as suas peculiaridades, significam que a tradução será sempre parte ciência, parte arte. E não quereríamos que fosse de outra maneira.