Einstein es a científico lo que Messi es a centrocampista.
París es a Francia lo que Tokio es a Japón.
Jobs es a Apple lo que Ballmer es a Microsoft.

Estas son solo algunas de las muchas analogías que los sistemas de IA pueden completar con precisión, gracias a los avances en el procesamiento del lenguaje natural (PNL). En los dos últimos años, la investigación de sistemas que producen representaciones de palabras cada vez más sofisticadas se han perfeccionado, con grupos de investigación que lanzan modelos cada vez más potentes que superan constantemente al sistema de última generación. Con estas técnicas, los ordenadores pueden deducir mucho sobre el mundo en el que vivimos, como la profesión de Lionel Messi o la compañía que dirigió Steve Ballmer.

Pero, ¿qué pasa si hay algunos aspectos que es mejor dejar fuera de estos sistemas?

Debido a que el poder conlleva responsabilidad, es importante que dediquemos algo de tiempo a debatir las implicaciones éticas de estos avances: a saber, la perpetuación de los prejuicios, en concreto, el sesgo de género en el lenguaje, sin entrar en si el lenguaje en sí debería ser o no ser más neutral en cuanto al género.

¿Qué queremos decir exactamente con sesgo?

Hablando coloquialmente, el sesgo se define como un prejuicio a favor o en contra de una persona o grupo, normalmente de una forma considerada injusta. En el ámbito del aprendizaje automático, el sesgo se define de manera un poco diferente: como un “error causado por las suposiciones erróneas de un algoritmo de aprendizaje”. En otras palabras, un modelo que constantemente comete los mismos errores.

Una visualización del sesgo en el aprendizaje automático como dardos en una diana: las predicciones del modelo son consistentes pero distorsionadas.

Cuando hablamos de sesgo en PNL, podemos en realidad hablar de ambos tipos. Los prejuicios preexistentes en nuestra sociedad afectan la forma en que hablamos y de qué hablamos, lo que a su vez se traduce en lo que está escrito, que en última instancia es lo que usamos para entrenar los sistemas de aprendizaje automático. Cuando entrenamos nuestros modelos utilizando datos sesgados, se incorporan a nuestros modelos, lo que permite confirmar y preservar nuestros propios sesgos.

Para comprender mejor cómo sucede esto, primero necesitamos una comprensión básica de cómo los programas informáticos pueden procesar texto y los algoritmos que usamos para eso. En caso de que no haya visto nuestro artículo sobre cómo las máquinas entienden el lenguaje, se trata de que las palabras están representadas por listas de números llamadas incrustaciones de palabras que codifican información sobre el significado, el uso y otras propiedades de la palabra. Las máquinas «aprenden» dichos valores para cada palabra al recibir datos de entrenamiento en forma de millones de líneas de texto, donde las palabras se utilizan en sus contextos naturales.

Dado que las incrustaciones de palabras son números, se pueden visualizar como coordenadas en un plano, y la distancia entre las palabras (precisamente, el ángulo entre ellas) es una forma de medir su similitud semántica. Dichas relaciones se pueden usar para generar analogías.

En este ejemplo del artículo anterior, las flechas naranjas representan la realeza, y las flechas azules, el género, capturando así la relación de hombre es a rey lo que mujer es a reina.

Pero, ¿qué sucede si queremos extender esta analogía a otras palabras, digamos profesiones?

Hombre es a programador lo que mujer es a _________

El sentido común dice que el término que falta debería ser «programadora». ¿Puedes adivinar cómo el ordenador, con un sistema estándar de incrustación de palabras, llena el espacio en blanco?

Hombre es a programador lo que mujer es a ama de casa

Puedes probar tus propias analogías utilizando esta herramienta de incrustación de palabras.

La traducción automática ofrece otro ejemplo. Con algunos sistemas, al traducir las oraciones húngaras de género neutro Ő egy orvos y Ő egy nővér a inglés, el resultado es Él es médico y Ella es enfermera , asumiendo el género de ambos sujetos.

Obviamente, estos no son los resultados ideales. Los datos de entrenamiento utilizados en el modelo de lenguaje que produjeron la analogía incluyeron muy posiblemente a hombres programadores en el mismo contexto idiomático que mujeres que realizan labores domésticas más a menudo que con mujeres que se dedican a otra cosa. El resultado ideal de Él es médico y Ella es enfermera no está tan claro, pero podríamos darle la opción al usuario de especificar el género.

Los sistemas de aprendizaje automático son lo que comen, y las herramientas de procesamiento de lenguaje natural no son una excepción: quedó claro con Tay, el chatbot con IA de Microsoft. Existe una tendencia general a suponer que cuantos más datos hay, mejor rendimiento tienen los modelos y como resultado, los corpus más grandes son típicamente conjuntos de datos rastreados en la web. Dado que Internet y otros contenidos recopilan lenguaje humano real, exhibirán naturalmente los mismos prejuicios que los humanos. Y a menudo no se presta suficiente atención a lo que el texto realmente contiene.

Reducción de los sesgos de género

En algún punto de esta discusión, alguien, cualquiera, hará la pregunta: si queremos que la IA sea una verdadera representación de la humanidad, ¿deberíamos tratar de eliminar el sesgo? ¿La IA debería ser meramente descriptiva del comportamiento humano o debería ser preceptiva? Es una pregunta razonable. Sin embargo, lo que siempre debemos tener en cuenta es que los modelos sesgados no solo producen analogías falsas, sino que a veces son directamente erróneos: una programadora no es equivalente a una ama de casa.

Hablando como ingeniera de IA, siempre debemos considerar quién utilizará nuestros sistemas y con qué propósito. En Unbabel, debemos tener presentes a los clientes de nuestros consumidores y esforzarnos por ofrecer las traducciones más precisas y equilibradas posible. Al tener humanos en el proceso de traducción, sin duda se reduce el riesgo de tener datos de entrenamiento con sesgo de género, lo que ayuda a cerrar la brecha en donde falla el aprendizaje automático. Pero, ¿qué podemos hacer, como ingenieros, para reducir el sesgo de género en los sistemas de PNL?

El método más intuitivo es modificar los datos de entrenamiento. Si sabemos que nuestros modelos aprenden sesgo de los datos, tal vez solo necesitemos eliminar el sesgo. Una de esas técnicas es el llamado intercambio de género, en la cual los datos de entrenamiento se aumentan de tal modo que para cada oración con género, se genera una oración adicional, reemplazando los pronombres y palabras con género por aquellas del género opuesto, y sustituyendo los nombres por marcadores de entidad. Por ejemplo, «Mary abrazó a su hermano Tom» también crearía «NAME-1 abrazó a su hermana NAME-2». De esta manera, los datos de entrenamiento se equilibran en cuanto al género, y tampoco se aprende ninguna característica de género asociada con los nombres. Esto mejoraría las analogías dadas por el modelo, porque habría visto programadores de computadora en contextos masculinos y femeninos un mismo número de veces.

Sin embargo, es importante tener en cuenta que este enfoque es sencillo para el inglés, un idioma sin género gramatical productivo, mientras que para muchos otros idiomas tan solo intercambiar pronombres como él / ella y sustantivos como hermana / hermano no es suficiente, porque los adjetivos y otros modificadores también expresan al género. Por ejemplo, las lenguas romances, como el francés, el portugués o el español, no tienen un género gramatical neutro. Como explicó Helena Moniz, lingüista e investigadora de la Universidad de Lisboa, «las lenguas derivadas del latín perdieron su género gramatical neutro hace mucho tiempo».

Que yo sepa, la investigación sobre este tipo de técnica de sesgo para corpus no ingleses está inexplorada en gran parte.

Otro método específico para la traducción automática que ayuda a que las traducciones sean más precisas en cuanto al género implica agregar metadatos a las oraciones que almacenan al género del sujeto. Por ejemplo, si bien la oración You are very nice es ambigua en cuanto al género, si la oración portuguesa paralela fuese Tu és muito simpática, agregaríamos la etiqueta al comienzo de la oración en inglés para que el modelo pueda aprender la traducción correcta. Después del entrenamiento, si solicitamos una traducción y proporcionamos la etiqueta de género deseada, el modelo debería devolverla correctamente y no solo en el género mayoritario.

Si el sistema húngaro-inglés fue entrenado de esta manera, podríamos pedirle que traduzca Ő egy orvos y producir la traducción Es doctora o bien Ő egy nővér y producir Es enfermero. Para realizar esto a escala, necesitaríamos entrenar a un modelo adicional que clasifique el género de una oración y usarlo para etiquetar las oraciones, agregando una capa de complejidad.

Estos métodos son efectivos para reducir el sesgo de género en los modelos de PNL, pero la implementación de estos lleva mucho tiempo, ya que requieren información lingüística adicional que puede no estar fácilmente disponible o incluso no es posible obtenerla.

Por suerte, este tema se está convirtiendo en un área de investigación de rápido crecimiento. En la reunión anual de la Asociación de Lingüística Computacional que tuvo lugar este verano, a la que muchos Unbabelers de IA asistieron, hubo una sesión completa de presentaciones dedicadas al sesgo en el procesamiento del lenguaje, así como el primer taller sobre sesgo de género para el procesamiento del lenguaje natural.

Google también ha invertido recursos para mitigar este problema. En diciembre de 2018, anunciaron que Google Translate comenzaría a producir traducciones de palabras individuales desde cuatro idiomas hacia el inglés, tanto en forma femenina como masculina.

Es estupendo ver a los líderes del sector abordar el sesgo de género en los algoritmos, pero la labor está lejos de alcanzarse. Todavía estamos luchando con la falta de diversidad el sector de la IA: según MIT Technology Review, las mujeres representan solo el 18 % de los autores en las conferencias líderes de IA, el 20 % de las profesoras universitarias de IA, y el 15 % y el 10 % del personal de investigación en Facebook y Google, respectivamente“, y no podemos negar que esto no es parcialmente la causa del problema. Como ingenieros, no podemos evitar al problema escondiéndonos bajo el supuesto de que la tecnología es neutral. Especialmente porque las consecuencias de nuestra inacción no son solo anecdóticas, como los ejemplos que hemos compartido. El sesgo en los algoritmos puede conducir a la discriminación en procesos de contratación, solicitudes de préstamos e incluso en el sistema de justicia penal.

Esto no es una característica, es un error. Y a medida que somos más conscientes de ello, debemos darnos cuenta de nuestro papel en la creación de tecnología que funcione para muchos, no para pocos.

Fuentes
Mitigación del sesgo de género en el procesamiento del lenguaje natural: revisión de la literatura https://arxiv.org/abs/1906.08976