Séance de question et réponses avec le directeur de recherche chez Unbabel qui vient de se voir octroyer 1, 4 million d’euros pour construire la prochaine génération de modèles de traduction automatique

6 min read

André Martins, directeur de recherche chez Unbabel, s’est vu attribuer la prestigieuse bourse « Starting Grant » du Conseil européen de la recherche (CER) pour son projet de recherche de 5 ans intitulé DeepSPIN (Prédiction structurée en matière d’apprentissage profond dans le traitement automatique du langage naturel).

Avec une multitude de nouvelles interfaces linguistiques en plein essor, telles que les assistants numériques, les applications de messagerie et les bots de services client, André a déclaré à juste titre que ces technologies émergentes ont encore beaucoup de chemin à faire.

Malgré les nombreuses découvertes dans le traitement automatique du langage naturel, la traduction automatique et la reconnaissance vocale, les réseaux neuronaux profonds manquent actuellement de mécanismes structurels clés pour résoudre des tâches complexes du monde réel.

Par exemple, les systèmes de traduction automatique actuels procèdent mot par mot, ce qui augmente la probabilité d’erreurs. Et même quand ils génèrent une sortie fluide, il leur manque encore trop souvent les informations du texte source. De plus, les réseaux neuronaux actuels ne sont pas capables de raisonner de façon complexe, leur formation nécessite trop de supervision et leurs décisions ne sont pas interprétables par des humains.

Si nous voulons que l’intelligence artificielle et les humains travaillent ensemble, il faut résoudre cela.

Nous avons besoin d’une nouvelle génération de modèles, de méthodes et d’algorithmes d’apprentissage automatique qui tiennent compte de la structure du langage naturel pour permettre un raisonnement profond sur le monde qui nous entoure.

Avec un financement de 1,44 million d’euros, André espère recruter trois chercheurs postdoctoraux et trois doctorants pour arriver à la pointe de la technologie en matière d’apprentissage profond, de traduction automatique et d’estimation de la qualité de traduction, sur une période de cinq ans.

André s’est assis avec nous pour donner plus de détails sur le projet :

[mkdf_separator class_name = «  » type = « normal » position = « centre » couleur = «  » border_style = «  » largeur = «  » épaisseur = «  » top_margin = «  » bottom_margin = «  »]

Séance de questions-réponses avec le directeur de recherche chez Unbabel, André Martins

Vous avez dit que « l’apprentissage profond révolutionne le domaine du traitement automatique du langage naturel ». Comment ? Pouvez-vous expliquer ce qu’est l’apprentissage profond ?

Bien sûr ! L’apprentissage profond est un ensemble de méthodes d’apprentissage statistiques qui aide les machines à apprendre et à améliorer leurs performances grâce au nombre croissant de données qui les traverse. Ce qui distingue l’apprentissage profond des autres méthodes, c’est sa capacité à apprendre des représentations internes.

Les réseaux neuronaux sont l’exemple le plus populaire : ils consistent en plusieurs unités (appelées neurones artificiels) reliées entre elles en plusieurs couches ; différentes couches capturent différents niveaux de représentation (des mots aux phrases syntaxiques aux concepts sémantiques).

Au cours des deux ou trois dernières années, ces modèles ont réalisé de nouvelles percées dans les tâches de traitement automatique du langage naturel telles que la traduction automatique, la reconnaissance vocale et les réponses aux questions.

Au cours des dernières années, nous avons vu la montée des assistants virtuels comme Alexa d’Amazon ou Siri d’Apple, des robots de services client et des applications de messagerie. Que pensez-vous de l’évolution de ces technologies ? Combien de temps avant que ces outils ne fassent un travail de qualité humaine ? Pourquoi ?

Ces technologies ont beaucoup évolué au cours des dernières années, au point qu’elles sont finalement en train de devenir utiles. Cependant, elles sont encore très, très loin d’être de qualité « humaine ».

Leurs sorties semblent souvent fluides, et elles peuvent automatiser et personnaliser beaucoup de tâches quotidiennes, mais il suffit de quelques séries d’interactions pour se rendre compte que ces outils ne sont pas capables de raisonner en profondeur pour résoudre des tâches plus complexes. Pour le moment, vous devez combiner l’IA et les humains pour cela.

Vous dites que ce projet de recherche portera sur la combinaison de l’apprentissage profond et la prédiction structurée pour résoudre des tâches difficiles dans le traitement automatique du langage naturel, y compris pour la traduction automatique, l’estimation de la qualité et l’analyse syntaxique. Pouvez-vous expliquer ce que vous entendez par là ?

Le langage est basé sur la structure : nous formons des mots à partir de morphèmes, que nous combinons ensuite en syntagmes, qui à leur tour forment des phrases, et ainsi de suite.

Comprendre cette structure syntaxique est primordial pour comprendre la signification d’une phrase, comme dans : « Pendant qu’elle mangeait la pizza est arrivée ». Puisque « manger la pizza » est une phrase si ordinaire, on peut facilement se tromper et en faire une mauvaise interprétation. Malgré les dernières avancées en matière d’apprentissage profond pour le traitement automatique du langage naturel, les méthodes existantes ne permettent toujours pas de traiter et de comprendre ce type de structure.

Par exemple, les systèmes de traduction automatique génèrent habituellement des mots de gauche à droite, de façon précipitée, étant sujets à ce genre de pièges « à papillons ». Dans ce projet, nous développerons une nouvelle génération de méthodes d’apprentissage profond spécifiquement conçues pour découvrir et gérer la structure.

De plus, nous voulons que ces systèmes soient compréhensibles par les humains : lorsqu’ils estiment qu’une traduction est de mauvaise qualité, nous voulons qu’ils justifient cette décision en identifiant les mots qui sont traduits de façon incorrecte. Cela facilitera la collaboration entre les humains et l’intelligence artificielle.

Pouvez-vous donner des exemples des tâches les plus difficiles dans le traitement automatique du langage naturel ?

Chaque tâche qui nécessite une compréhension du langage (un terme plus fort que « traitement ») est extrêmement difficile. Aujourd’hui, nous pouvons faire de mieux en mieux en matière de reconnaissance vocale. Mais comment allez-vous faire pour que les machines comprennent les humains et les aident à résoudre les problèmes ? Pour cela, nous avons besoin de la traduction automatique (pour éliminer les barrières linguistiques), de systèmes de questions réponses (pour aider les humains à trouver des informations) et de systèmes de dialogue orientés vers un objectif (travailler interactivement avec les humains pour résoudre des tâches, comme réserver un vol). Ce sont des tâches vraiment difficiles.

Qu’espérez-vous réaliser d’ici 2023 quand cette étude arrivera à son terme ?

J’espère avoir une suite de méthodes d’apprentissage profond 2.0 qui (i) peuvent gérer et identifier la structure dans le langage, (ii) peuvent être interprétées par les humains, et (iii) sont efficaces en termes de données, y compris pour les langages à faibles ressources. Avec ces ingrédients, nous pouvons vraiment faire une avancée décisive pour résoudre la communication multilingue !


Le projet sera réalisé conjointement avec Unbabel, l’ Instituto de Telecomunicações,et l’Instituto Superior Técnicode l’Université de Lisbonne (IST).

Si vous souhaitez postuler pour faire partie du projet, consultez la description complète du projet ici.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon