Einstein est au scientifique ce que Messi est au milieu de terrain.
Paris est à la France ce que Tokyo est au Japon.
Jobs est à Apple ce que Ballmer est à Microsoft.

Ce ne sont là que quelques-unes des nombreuses analogies que les systèmes d’IA sont capables de faire avec précision, grâce aux avancées du traitement automatique du langage naturel. Au cours des deux dernières années, la recherche sur des systèmes produisant des représentations de mots de plus en plus sophistiquées a décollé ; des groupes de recherche ont publié des modèles de plus en plus puissants, qui ont systématiquement surpassé les systèmes à la pointe de la technologie d’alors. Grâce à ces techniques, les ordinateurs peuvent en apprendre beaucoup sur le monde dans lequel nous vivons, comme la profession de Lionel Messi ou la société dirigée par Steve Ballmer.

Mais ne vaudrait-il pas mieux laisser certaines parties de notre monde en dehors de ces systèmes ?

En raison du légendaire compromis entre pouvoir et responsabilité, il est important de prendre le temps d’aborder les implications éthiques de ces avancées, à savoir la perpétuation des préjugés humains. En particulier, les préjugés sexistes tels qu’ils existent couramment dans le langage, sans pour autant entrer dans le débat pour savoir si le langage devrait ou non être plus épicène.

Qu’entendons-nous exactement par préjugé ?

En termes familiers, le préjugé est défini comme la discrimination d’une personne ou d’un groupe, donc généralement considéré comme injuste. Le préjugé au sens de l’apprentissage automatique est défini un peu différemment, comme une « erreur tirée d’hypothèses erronées dans un algorithme d’apprentissage ». En d’autres termes, un modèle commettant systématiquement les mêmes erreurs.

Visualisation des préjugés dans l’apprentissage automatique sous forme de fléchettes sur une cible : les prédictions du modèle sont cohérentes mais faussées.

Lorsque nous parlons de préjugés dans le TALN, nous pouvons parler des deux types. Les préjugés pré-existants dans notre société affectent la façon dont nous parlons et ce dont nous parlons, ce qui à son tour se traduit en écrit, pour être en fin de compte ce que nous utilisons pour former des systèmes d’apprentissage automatique. Lorsque nous formons nos modèles à l’aide de données faussées, celles-ci sont intégrées à nos modèles, ce qui permet de confirmer et de préserver nos propres préjugés.

Pour mieux comprendre comment cela se produit, nous devons d’abord comprendre comment les programmes informatiques sont capables de traiter du texte, ainsi que les algorithmes que nous utilisons pour cela. Au cas où vous auriez manqué notre article sur la façon dont les machines comprennent le langage ; en résumé, les mots sont représentés par des listes de nombres, appelées plongements de mots (word embeddings), qui codent des informations sur la signification, l’utilisation et les autres propriétés du mot. Les ordinateurs « apprennent » ces valeurs pour chaque mot en recevant des données d’apprentissage de plusieurs millions de lignes de texte, où les mots sont utilisés dans leur contexte naturel.

Comme les plongements de mots sont des nombres, ils peuvent être visualisés sous forme de coordonnées sur un plan. La distance entre les mots (plus précisément, l’angle entre eux) permet de mesurer leur similarité sémantique. Ces relations peuvent être utilisées pour générer des analogies.

Dans l’exemple de l’article précédent, les flèches orange représentent la royauté et les flèches bleues le genre, ce qui donne la relation suivante : l’ homme est au roi ce que la femme est à la reine.

Mais que se passe-t-il si nous voulons étendre cette analogie à d’autres mots, par exemple les professions ?

L’homme est au programmeur informatique ce que la femme est à __ _______

Le bon sens voudrait que le terme manquant soit programmeur informatique, car ce terme n’est pas intrinsèquement genré, contrairement à roi et reine. Pouvez-vous deviner comment l’ordinateur, avec un système de plongement lexical standard, complète la phrase ?

L’homme est au programmeur ce que la femme est à la ménagère (le deuxième mot le plus probable est femme au foyer)

Vous pouvez essayer vos propres analogies en utilisant cet outil de plongement lexical.

La traduction automatique offre un autre exemple. Avec certains systèmes, la traduction des phrases hongroises épicènes « Ő egy orvos. Ő egy nővér » en français donne « Il est docteur. Elle est infirmière », supposant ainsi le sexe des deux sujets.

Ces résultats ne sont évidemment pas idéaux. Les données d’apprentissage utilisées dans le modèle linguistique qui a produit l’analogie comprenaient très probablement des hommes programmeurs informatiques dans le même contexte linguistique que des femmes qui sont plus souvent des femmes au foyer que des femmes faisant autre chose de leur vie. Le résultat idéal de ce dilemme « il est médecin/elle est infirmière » est moins clair, mais nous pourrions utiliser un pronom neutre pour donner à l’utilisateur la possibilité de spécifier le genre, ou au moins choisir le même pronom pour les deux.

Les systèmes d’apprentissage automatique sont le résultat des données qu’on leur a fait assimiler, et les outils de traitement du langage naturel ne font pas exception à la règle ; cela est devenu évident avec Tay, le chatbot à intelligence artificielle de Microsoft. Il existe une tendance générale à supposer que plus de données produisent des modèles plus performants et que par conséquent, les plus importants corpus sont généralement des ensembles de données recherchés sur le Web. Étant donné qu’Internet et d’autres contenus utilisent un langage humain réel, ils présentent naturellement les mêmes préjugés que les humains et souvent, on ne tient pas suffisamment compte de ce que contient véritablement le texte.

Réduire les préjugés sexistes

Finalement, à un moment donné de cette discussion, quelqu’un, n’importe qui, posera la question suivante : si nous voulons que l’IA soit une véritable représentation de l’humanité, devrions-nous même essayer de supprimer les préjugés ? L’IA devrait-elle être simplement descriptive du comportement humain ou bien devrait-elle être normative ? C’est une bonne question. Cependant, nous devons à tout le moins également garder à l’esprit que les modèles biaisés ne produisent pas seulement des analogies maladroites, mais qu’ils sont parfois carrément faux : une programmeuse informatique n’est pas équivalente à une femme au foyer.

En tant qu’ingénieur en IA, je pense que nous devons toujours nous demander qui utilisera nos systèmes et dans quel but. Chez Unbabel, nous devons être attentifs aux clients de nos clients et nous efforcer de fournir les traductions les plus précises et les plus objectives. L’intervention humaine réduit certainement le risque d’avoir des données d’apprentissage sexistes, et contribue donc à combler les lacunes de l’apprentissage automatique. Mais que pouvons-nous faire, en tant qu’ingénieurs, pour réduire les préjugés sexistes dans les systèmes de TALN ?

La méthode la plus intuitive consiste à modifier les données d’apprentissage. Si nous savons que nos modèles apprennent des préjugés à partir de données, il suffirait peut-être juste d’éliminer ces préjugés. Une de ces techniques est « l’interversion des genres », où les données d’apprentissage sont renforcées de telle sorte que pour chaque phrase genrée, une phrase supplémentaire est créée, remplaçant les pronoms et les mots genrés par ceux du genre opposé et remplaçant les noms par des noms génériques. Par exemple, « Mary a étreint son frère Tom » donnerait également « NOM-1 a étreint sa sœur NOM-2 ». Ainsi, les données d’apprentissage deviennent équilibrées en termes de genre et n’apprennent aucune des caractéristiques de genre associées aux noms. Cela améliorerait les analogies fournies par le modèle, car celui-ci aurait vu les programmeurs informatiques un nombre égal de fois dans des contextes masculin et féminin.

Cependant, il est important de noter que si cette approche est simple en anglais, une langue sans genre grammatical productif, dans de nombreuses autres langues, se contenter d’intervertir des pronoms comme il/elle et des noms comme sœur/frère n’est pas suffisant, car les adjectifs et autres modificateurs grammaticaux expriment aussi le genre. Par exemple, les langues romanes telles que le français, le portugais ou l’espagnol n’ont pas de genre grammatical neutre. Comme l’explique Helena Moniz, linguiste et chercheuse à l’Université de Lisbonne, « il y alongtemps que les langues dérivées du latin ont perdu leur genre grammatical neutre.»

À ma connaissance, les recherches sur ce type de technique de correction de préjugés pour les corpus non anglais sont très peu explorées.

Une autre méthode spécifique à la traduction automatique qui aide les traductions à être plus précises concernant le genre consiste à ajouter des métadonnées aux phrases qui stockent le genre du sujet. Par exemple, bien que la phrase « You are very nice » soit ambiguë en anglais concernant le genre, si la phrase parallèle en portugais était « Tu és muito simpática », nous ajouterions la balise au début de la phrase en anglais pour que le modèle puisse apprendre la traduction correcte. Après l’apprentissage, si nous demandons une traduction et fournissons la balise du genre souhaité, le modèle devrait renvoyer le genre correct et non pas uniquement le genre prédominant.

Si le système hongrois-anglais était formé de cette manière, nous pourrions lui demander de traduire « Ő egy orvos » et avoir la traduction « She is a doctor » (elle est médecin) ou « Ő egy nővér » et avoir « He is a nurse » (il est infirmier). Pour effectuer cela avec le degré de précision nécessaire, il faudrait former un modèle supplémentaire qui classifie le genre d’une phrase, et l’utiliser pour baliser les phrases, ajoutant ainsi une strate de complexité.

Ces méthodes sont efficaces pour réduire les préjugés sexistes dans les modèles de TALN, mais leur mise en œuvre prend du temps, car elles nécessitent des informations linguistiques supplémentaires qui peuvent ne pas être facilement disponibles, voire même difficiles à obtenir.

Heureusement, ce sujet est en train de devenir un domaine de recherche en plein essor. Lors du congrès annuel de l’Association for Computational Linguistics qui a eu lieu cet été et à laquelle ont participé de nombreux spécialistes en IA de chez Unbabel, une série complète d’exposés était consacrée aux préjugés dans le traitement du langage ; y était également organisé le tout premier atelier sur les préjugés sexistes dans le Traitement automatique du langage naturel.

Google a également investi des ressources financières pour pallier ce problème. En décembre 2018, l’entreprise a annoncé que Google Traduction commencerait à renvoyer les traductions de mots simples de quatre langues en anglais, à la fois dans leurs formes féminines et masculines.

C’est formidable de voir des leaders de l’industrie s’attaquer aux préjugés sexistes dans les algorithmes, mais le travail est loin d’être terminé. Nous sommes toujours aux prises avec un manque de parité dans le secteur de l’IA (selon la MIT Technology Review, « lesfemmes ne représentent que 18 % des auteurs dans les principales conférences sur l’IA, 20 % des postes de professeurs en IA et respectivement 15 % et 10 % du personnel de recherche chez Facebook et Google »),et nous devons reconnaître que cela est en partie responsable du problème. En tant qu’ingénieurs, nous ne pouvons feindre d’ignorer ce problème et nous cacher derrière l’hypothèse que la technologie est non sexiste. D’autant plus que les conséquences de notre inaction ne sont pas simplement anecdotiques, comme dans les exemples que nous avons partagés : un préjugé dans les algorithmes peut conduire à des discriminations dans les processus de recrutement, les demandes de prêt et même dans le système de justice pénale.

Ce n’est pas une fonctionnalité, c’est un bug. Alors que nous sommes de plus en plus sensibilisés à ce sujet, nous devons prendre conscience de notre rôle en créant une technologie qui fonctionne pour le plus grand nombre, pas pour quelques-uns.

Sources
Mitigating Gender Bias in Natural Language Processing: Literature Review https://arxiv.org/abs/1906.08976