Quando era criança, pensei que iria ser matemático ou físico quando crescesse. Percebi desde muito cedo que queria estudar e fazer investigação ou até mesmo ser professor, num destes campos. Eu não sabia o que era a IA. De facto, durante os primeiros anos como estudante de licenciatura em Ciências da Computação, muitas vezes senti que deveria mudar para matemática. Estou feliz por não o ter feito.

A minha avó não entende qual é o meu trabalho, porque para isso é preciso usar a Internet. Se não usares e eu te disser que na Unbabel estamos a fazer os computadores realizarem ações humanas automaticamente, provavelmente vais ficar a olhar espantado para mim.

De certa forma, eu não acabei num lugar muito diferente do que imaginei quando criança. Aliás, todo este campo de tradução automática começou com Warren Weaver após a Segunda Guerra Mundial, depois de Allen Turing, um matemático, ter decifrado o código Enigma.

A ideia é poder tratar a língua como um código. A diferença é que os códigos são formais, não ambíguos; e o que torna a tradução tão difícil é precisamente a ambiguidade.

O estado da tradução automática

Algumas pessoas têm algum conhecimento do que a Unbabel faz: traduzimos um texto de uma língua específica para uma língua diferente. Mas outros nem sabem o que é a Inteligência Artificial. Alguns pensam que tudo o que a IA faz são “coisas de robô”, mas não é isso. O que a IA está a fazer é, de certa forma, imitar o comportamento humano e em algumas coisas é melhor do que os humanos .

Vamos começar com o básico: o que fazem os sistemas de aprendizagem automática? Apresenta-se um objeto de origem, neste caso uma frase e pede-se que prevejam algo, uma frase de destino.

A dificuldade com a tradução é que não há padrão. Um padrão representa a verdade real. Se estás a tentar conseguir que uma máquina detete imagens perguntando “isto é um gato ou um cão?”, há uma verdade porque uma imagem específica é uma ou outra. Na tradução automática isso não existe, porque pode haver 20 traduções diferentes que são igualmente boas. É um problema muito mais difícil. O que é uma boa tradução e o que não é? Há também o facto da língua ser altamente ambígua. Palavras podem significar coisas muito diferentes em contextos diferentes. E assim o problema com a tradução é em grande parte não resolvido.

Se olhares mais a fundo para a tradução automática, vê-se que não é muito melhor do que há alguns anos, apesar do que a maioria das pessoas pensa. As opções anteriores de sistemas estatísticos de tradução automática pareciam muito anti-naturais ou robóticas. Hoje podem parecer mais fluentes, mas são menos adequados do que os anteriores, que normalmente tinham o conteúdo certo, embora pudessem ser mais difíceis de entender. As traduções automáticas nos dias de hoje podem falhar catastroficamente em termos de conteúdo, mas ainda assim soam fluentes. No geral, é um sistema melhor.

A tradução automática chegou a um ponto em que é possível pelo menos entender a essência do texto. Está-se a tornar mais fluente, apesar dos modelos ainda serem muito básicos e terem pouco conhecimento de linguagem. Eles ainda estão a trabalhar numa espécie de frase por frase. Então, quem pensa que a tradução automática está resolvida, claramente não a usou.

Para a Unbabel, como empresa que está a vender as suas soluções de apoio multilingue para grandes empresas que interagem com milhares ou milhões de clientes todos os dias, isso representa um problema porque na maioria das vezes, quando se menciona a tradução automática, as pessoas imediatamente pensam nos erros que são cometidos. Não se pode apenas inventar histórias para fazer parecer que a tradução automática é perfeita, é onde ela está neste momento. Ainda há a necessidade de existir um humano no processo para lhe dar um pouco mais de qualidade.

No chat, por exemplo, há uma pessoa que está a falar com outra pessoa, o que significa que se podem corrigir erros muito mais rapidamente. Se se diz algo que não faz sentido, a pessoa do outro lado pode dizer “o quê? Eu não entendi”, e então tenta-se uma outra forma de dizer a mesma coisa.

Isto basicamente significa que se está a ser a própria estimativa de qualidade, porque, no final de contas, o que se quer é um diálogo que funcione.

A importância da estimativa de qualidade

Estimativa de qualidade – o que usamos para avaliar a qualidade de um sistema de tradução sem acesso a traduções de referência ou intervenção humana – é o segredo da tradução automática. De facto, algumas pessoas afirmaram que isso poderia resolver o problema de “qual é a tradução correta?”, porque agora temos um sistema que avalia quão boa ou má é uma tradução. Isso não significa necessariamente que uma tradução é a única correta, mas que é uma tradução que faz sentido.

Mas a estimativa de qualidade sofre das mesmas dificuldades que a tradução automática, o que significa que se pode esperar o mesmo nível de precisão dela. O maior problema com a tradução automática é que há sempre erros porque a língua é muito difícil de entender. Seja devido a modelos que são demasiado simples devido ao poder de computação ou ao facto de que qualquer sistema de aprendizagem automática cometerá erros, as melhores equivalências estarão em cerca de 90%. Pode parecer muito, mas se pensares sobre isso significa que uma em cada dez frases estará errada.

A estimativa de qualidade está a tentar prever esses erros ou pelo menos a tentar perceber se esse é um erro crítico ou não. Isso basicamente irá permitir-nos usar a tradução automática com um grau muito maior de confiança.

Na Unbabel, dedicamos muito do nosso tempo a resolver o problema de estimativa de qualidade. A equipa de IA fundamental é a que mais se concentra nisso, descobrindo novos modelos. Depois há muito trabalho enviado pela IA aplicada e produção para responder a perguntas como:

  • Como funciona no pipeline?
  • É escalável? Precisamos de mudar o objetivo?
  • Como funciona com os nossos dados práticos?
  • Como faz a adaptação desses modelos?

Como a IA fundamental trabalha principalmente os dados genéricos do domínio, a IA aplicada precisa de trabalhá-los e garantir que funcionam na nossa realidade de chats e tickets, se funciona com tons diferenciados ou não. Há a pesquisa e depois há o trabalho de incorporar os resultados dessa pesquisa no produto.

Acreditamos firmemente nos nossos sistemas de estimativa de qualidade. Também acreditamos em pesquisas reproduzíveis e colaborativas e é por isso que, há alguns meses , construímos o Open Kiwi – uma estrutura de código aberto que implementa os melhores Sistemas de Estimativa de Qualidade, facilitando a experienciação e a interação com esses modelos no mesmo framework, bem como o desenvolvimento de novos modelos.

Provavelmente, fomos uma das primeiras empresas que começaram a usar a estimativa de qualidade na produção e fazemos estudos nessa área há muito tempo. Isto significa que temos melhores modelos e uma melhor compreensão do problema do que outras empresas ou investigadores que trabalham com estimativas de qualidade.

E os prémios vão para…

É por isso que fiquei muito contente por termos recuperado o nosso título de melhor sistema global de Qualidade de Tradução Automática na Conferência Mundial para Tradução Automática no início deste ano. Não apenas isso, mas também vencemos a competição de edição automática de publicações.

Foi muito importante para nós por dois motivos. Primeiro pelo impacto que a estimativa de qualidade está a ter no nosso pipeline de produção e segundo pelo retorno sobre o investimento que estamos a receber dele. E para isso, realmente não importa se vencemos esta ou qualquer outra competição.

Mas, por outro lado, ganhar prémios de prestígio significa o reconhecimento da marca Unbabel, que é essencial para atrair a atenção de clientes e investidores. É também um importante reconhecimento para a equipa de IA, cujo trabalho às vezes é difícil de entender e de valorizar. É um trabalho com um risco muito alto, mas altamente recompensado. Pode-se trabalhar por um ano e não chegar a lado nenhum. Por exemplo, todo o trabalho que fizemos na nossa estimativa de qualidade humana não funcionou porque simplesmente não tínhamos as ferramentas certas para isso.

E esses prémios são bons para o reconhecimento, para aumentar a consciencialização sobre o nome da Unbabel nos negócios e no meio académico, mas também são bons para a moral. A Unbabel é uma empresa puramente de IA. Nós não estamos apenas a usar IA, na verdade estamos a construir e a descobrir a IA que ainda não existe. E ser reconhecido publicamente por isso significa o mundo para mim. Acho que o meu aspirante a matemático de nove anos ficaria orgulhoso.