Beaucoup de grandes entreprises telles que Google, Microsoft, Yahoo, Yandex, eBay et Amazon créent et programment des systèmes de Traduction Automatique (MT) à visée générale, qui utilisent des milliards et des milliards de points de données (comme l’ensemble du World Wide Web) afin d’aider à comprendre du contenu en ligne dans une autre langue.

Si vous êtes un observateur attentif du monde de la traduction automatique (MT), vous avez peut-être lu qu’il y a eu récemment une mise à niveau vers le « MT neural ». Cependant, Traduction automatique générale ≠ Traduction automatique pour les professionnels.

La qualité s’est nettement améliorée. Cependant, un système de traduction automatique à visée générale est comme un poisson hors de l’eau quand il est utilisé dans un domaine différent de celui pour lequel il a été programmé (généralement des articles de presse, des procédures parlementaires, etc.). Essayez d’en utiliser un pour des conversations par e-mail et par chat avec des clients internationaux, ou pour des informations cruciales d’entreprise, comme les descriptions de produits, et les résultats semblent très vite bizarres.

Les tons formels et informels se mélangent, les noms propres sont mal traduits, les noms de marques qui devraient rester les mêmes deviennent confus, et de nombreuses autres erreurs sont automatiquement générées, ce qui rend le contenu impropre à un environnement d’entreprise.

Il ne fait aucun doute que les technologies des réseaux neuronaux améliorent considérablement les traductions automatiques (notamment en termes de maîtrise de la langue), mais un énorme fossé subsiste encore entre ces technologies et la qualité que l’on attend des entreprises multinationales aujourd’hui.

Performance d’Unbabel dans les traductions automatiques adaptées aux différents domaines.

Afin de répondre à leurs normes exigeantes, nous acceptons d’abord les limites de la traduction automatique puis l’adaptons à notre flux de travail de traduction automatique + éditeurs humains. Il existe des preuves que plus la traduction automatique est bonne, moins il y a de post-édition, et donc plus rapide et meilleure est la qualité finale de la traduction.

Maria at Unbabel

Nous avons récemment mené une série d’expériences comparant la traduction automatique d’Unbabel spécialisée dans un domaine aux systèmes de traduction automatique généraux (avec et sans traduction automatique neuronale) sur 5 combinaisons linguistiques courantes (anglais vers espagnol, français, portugais, italien et allemand).

En utilisant les tickets de support client d’ Unbabel pour Zendesk, et d’Unbabel pour Salesforce Service Cloud nous utilisons la métrique automatique standard pour l’évaluation de la traduction automatique, scores BLEU, pour tracer notre performance :



La traduction automatique d’Unbabel adaptée à un domaine obtient systématiquement des scores sensiblement meilleurs, confirmant notre hypothèse que programmer nos machines selon les données du client est essentiel.. Ce n’est pas une nouveauté pour la communauté scientifique mais cela pourrait bien en être une dans le monde des affaires.

Nous émettons aussi notre Glossaire intégré, dans lequel nous adaptons nos systèmes à chaque client afin d’être sûrs que les guides de style, la terminologie de la marque et autres métadonnées soient pris en compte. Par exemple, la plupart du temps, Pinterest ne veut pas que le mot « Pin » soit traduit par « Alfiler » en espagnol.

Cela dit, il faut insister sur ce point : nous n’en sommes qu’au début de la réalisation de ce dont nos clients ont besoin. Chez Unbabel nous pensons sincèrement que la seule manière de « résoudre » la traduction est de fusionner l’intelligence artificielle et un travail humain.

André and Ramon at Unbabel

Après l’étape de traduction automatique, la suivante consiste à orienter ces sorties vers le pôle de nos 45 000 linguistes mobiles sélectionnés avec discernement, qui post-éditent le contenu avec la touche humaine qui lui conférera la qualité attendue par nos clients. Nous verrons cela dans un message distinct.


Remerciements :
Le Directeur de recherche d’Unbabel, le Dr André Martinsa conduit les expériences avec l’aide de Maria Braga et Catarina Cruz Silva.
Nota :

  • Nous avons suivi quelques étapes de base afin d’éviter les pièges courantset donc d’assurer qu’aucune combinaison de phrases de cet ensemble de données ne recoupe les données de programmation de notre système de traduction automatique.
  • Notre comparatif favorise légèrement le système de Google, car, pour ces expérimentations, les traductions de référence ont été obtenues par post-édition humaine de Google Translate (d’où l’astérisque dans les graphiques)
  • Nous n’appliquons pas la traduction automatique neuronale de Google à l’italien, car elle n’est actuellement pas prise en charge par leur API haut de gamme.