Q&A com o Chefe de Investigação da Unbabel que acabou de ganhar 1,4 milhões de euros para construir a próxima geração de modelos de tradução automática.

6 min read

O Responsável de Investigação daUnbabel, André Martins, recebeu um prestigiado Prémio de Início do Conselho Europeu de Investigação (ERC) para o projeto de pesquisa proposto a 5 anos DeepSPIN – Previsão Estruturada Profunda no Processamento da Linguagem Natural.

Com uma infinidade de novos interfaces de idiomas, como assistentes digitais, aplicações de mensagens e serviço ao cliente digital em ascensão, André afirmou, com razão, que essas tecnologias emergentes ainda têm um longo caminho a percorrer:

Apesar dos muitos avanços no Processamento da Linguagem Natural, na tradução automática e reconhecimento de fala, as redes neurais profundas estão a perder os principais mecanismos estruturais para resolver tarefas complexas do mundo real.

Por exemplo, os atuais sistemas de tradução automática emitem uma palavra de cada vez, o que tende a propagar erros. E mesmo quando geram resultados fluentes, eles ainda perdem informações do texto de origem muitas vezes. Além disso, as redes neurais atuais não são capazes de um raciocínio complexo, a sua aprendizagem requer muita supervisão e as suas decisões não são interpretáveis pelos humanos.

Se queremos que a IA e os humanos trabalhem juntos, isso tem de ser corrigido.

Precisamos de uma nova geração de modelos de aprendizagem de máquinas, métodos e algoritmos que considerem a estrutura da linguagem natural, para permitir um raciocínio profundo sobre o mundo que nos rodeia.

Com um financiamento de 1,44 milhões de euros, o André espera recrutar três investigadores pós-doutorados e três estudantes de doutoramento para desenvolver a aprendizagem profunda da tradução automática e da qualidade de tradução estimada por um período de cinco anos.

O André sentou-se connosco para dar mais detalhes sobre o projeto:
[mkdf_separator class_name = “” type = “normal” position= “center” color = “” border_style = “” width = “” thickness = “” top_margin = “” bottom_margin = “”]

Q&A com André Martins, Chefe de Investigação da Unbabel.

Disse que “A aprendizagem profunda está a revolucionar o campo do processamento de linguagem natural”. Como assim? Pode explicar o que é a aprendizagem profunda?

Claro! A aprendizagem profunda é um conjunto de métodos de aprendizagem estatística que ajuda as máquinas a aprender e melhorar o seu desempenho com a experiência de ter mais dados através delas. O que distingue a aprendizagem profunda de outros métodos é a capacidade de aprender representações internas.

As redes neurais são o exemplo mais popular: consistem em unidades múltiplas (chamadas neurónios artificiais) ligadas em várias camadas; diferentes camadas capturam diferentes níveis de representação (de palavras para frases sintáticas para conceitos semânticos).

Nos últimos 2-3 anos, esses modelos alcançaram novos avanços em tarefas de processamento de linguagem natural, como tradução automática, reconhecimento da linguagem e resposta a perguntas.

Nos últimos anos, vimos o aumento de assistentes digitais como o Alexa da Amazon, ou o Siri, o serviço de apoio ao cliente da Apple e as aplicações de mensagens. O que acha da evolução dessas tecnologias? Até que ponto essas ferramentas são humanas? Porquê?

Essas tecnologias evoluíram muito nos últimos anos, até ao ponto em que estão agora finalmente a tornar-se úteis. No entanto, ainda estão muito, muito longe de serem “humanas”.

Muitas vezes, podem soar fluentes, e podem automatizar e personalizar muitas tarefas diárias, mas em poucos momentos de interação percebemos que essas ferramentas não são capazes de qualquer raciocínio profundo para resolver tarefas mais complexas. Por enquanto, é necessário combinar IA e humanos para isso.

Diz que este projeto de investigação se concentrará em reunir aprendizagem profunda e previsão estruturada para resolver tarefas desafiadoras no processamento de linguagem natural, incluindo tradução automática, estimativa de qualidade e análise sintática. Pode explicar o que quer dizer com isso?

A linguagem é cheia de estruturas: formamos palavras de morfemas, que então combinamos em frases simples, que por sua vez formam frases mais complexas, e assim por diante.

Compreender essa estrutura sintática é fundamental para entender o significado de uma frase, como em Enquanto ela estava a comer a pizza chegou. Uma vez que a comer a pizza é uma frase tão comum, podemos facilmente ser apanhados numa interpretação errada. Apesar dos últimos avanços na aprendizagem profunda para o processamento natural da linguagem, os métodos existentes ainda são insuficientes para lidar e compreender este tipo de estrutura.

Por exemplo, os sistemas de tradução automática geralmente geram, gananciosamente, palavras da esquerda para a direita sendo propensos a este tipo de armadilhas. Neste projeto, desenvolveremos uma nova geração de métodos de aprendizagem profunda especificamente definidos para descobrir e lidar com a estrutura.

Além disso, queremos que esses sistemas sejam compreensíveis pelos seres humanos: quando eles estimam que uma tradução é de baixa qualidade, queremos que eles forneçam uma justificação para essa decisão, indicando as palavras que são traduzidas incorretamente. Isto tornará mais fácil para humanos e IA trabalhar de forma colaborativa.

Pode dar exemplos das tarefas mais desafiadoras no processamento de linguagem natural?

Toda a tarefa que requer compreensão do idioma (um termo mais forte do que o processamento) é extremamente desafiadora. Hoje em dia, podemos fazer cada vez melhor no reconhecimento da linguagem. Mas como vai fazer para que a partir daí as máquinas possam entender os seres humanos e ajudá-los a resolver problemas? Para isto, precisamos da tradução automática (para eliminar as barreiras do idioma), responder a perguntas (para ajudar os seres humanos na busca de informações) e sistemas de diálogo orientados para objetivos (para trabalhar de forma interativa com humanos para resolver tarefas como reservar um voo). Estas são tarefas muito difíceis.

O que espera alcançar em 2023 quando este estudo chegar ao fim?

Espero ter um conjunto de métodos de Estudo Aprofundado 2.0 que (i) possam manipular e identificar a estrutura da linguagem, (ii) sejam interpretáveis para humanos e (iii) sejam eficientes em termos de dados, inclusive para idiomas de recursos baixos. Com estes ingredientes, realmente podemos dar um salto quântico no sentido de resolver a comunicação multilingue!

_____________________________________________________________________________________________________ O projeto será feito em conjunto com Unbabel, o Instituto de Telecomunicações, e a Universidade de Lisboa, Instituto Superior Técnico (IST).

Se estás interessado em candidatar-te para seres parte do projeto, verifica a descrição completa do projeto Aqui.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon