Preguntas y respuestas con el jefe de investigación de Unbabel, que acaba de ganar 1,4 millones de euros destinados a crear la próxima generación de modelos de traducción automática

7 min read

El jefe de investigación de Unbabel, André Martins, ha sido galardonado con una prestigiosa beca Starting Grant del Consejo Europeo de Investigación (ERC) por su propuesta de proyecto de investigación de 5 años, que lleva por título «DeepSPIN – Deep Structured Prediction in Natural Language Processing» (en español, «Predicción de la estructura profunda en el procesamiento del lenguaje natural»).

En la actualidad, están surgiendo multitud de nuevas interfaces en múltiples idiomas, como por ejemplo, asistentes digitales, aplicaciones de mensajería y bots de atención al cliente. A la vista de este escenario, André ha afirmado de manera acertada que estas tecnologías emergentes aún tienen un largo camino por recorrer.

A pesar de los múltiples avances en el procesamiento del lenguaje natural, la traducción automática y el reconocimiento de voz, las redes neuronales profundas carecen actualmente de los mecanismos estructurales clave para poder resolver tareas complejas del mundo real.

Por ejemplo, los sistemas de traducción automática actuales traducen palabra por palabra, lo que tiende a difundir errores. E incluso cuando son capaces de generar un resultado fluido, pierden información del texto origen con demasiada frecuencia. Además de esto, las redes neuronales actuales no son capaces de efectuar razonamientos complejos, su entrenamiento requiere demasiada supervisión y sus decisiones no son interpretables por los humanos.

Si queremos que la IA y los humanos trabajen juntos, esto es algo que debe solucionarse.

Necesitamos una nueva generación de modelos de aprendizaje automático, métodos y algoritmos que consideren la estructura del lenguaje natural y permitan un razonamiento profundo sobre el mundo que nos rodea.

Con los 1,44 millones de euros que ha recibido como financiación, André tiene pensado contratar a tres investigadores posdoctorales y tres estudiantes de doctorado para impulsar las técnicas más innovadoras relacionadas con el aprendizaje profundo, la traducción automática y la estimación de la calidad de la traducción durante un periodo de cinco años.

André se sentó con nosotros para darnos más detalles sobre el proyecto:


Preguntas y respuestas con el jefe de investigación de Unbabel, André Martins

Dices que «el aprendizaje profundo está revolucionando el campo del procesamiento del lenguaje natural». ¿De qué manera? ¿Puedes explicarnos qué es el aprendizaje profundo?

¡Por supuesto! El aprendizaje profundo es un conjunto de métodos de aprendizaje estadísticos que ayudan a las máquinas a aprender y mejorar su rendimiento gracias a la gran cantidad de datos que pasan a través de ellos. Lo que distingue al aprendizaje profundo de otros métodos es su capacidad para aprender representaciones internas.

Las redes neuronales son el ejemplo más conocido: consisten en muchas unidades (denominadas neuronas artificiales) interconectadas en varias capas. Las diferentes capas capturan diferentes niveles de representación (desde palabras hasta frases sintácticas o conceptos semánticos).

Durante los últimos 2 o 3 años, estos modelos han logrado nuevos avances en tareas de procesamiento del lenguaje natural, como pueden ser la traducción automática, el reconocimiento de voz y la búsqueda de respuestas.

Durante los últimos años, hemos presenciado el auge de los asistentes digitales, como Alexa de Amazon o Siri de Apple, de los bots de atención al cliente y de las aplicaciones de mensajería. ¿Qué opinas de la evolución de estas tecnologías? ¿Estamos aún lejos de conseguir que estas herramientas funcionen como los seres humanos? ¿Por qué?

Estas tecnologías han evolucionado mucho durante los últimos años, hasta el punto de que finalmente se han vuelto útiles. Sin embargo, todavía están muy, muy lejos de parecerse a los humanos.

A menudo pueden hablar con fluidez y son capaces de automatizar y personalizar muchas tareas diarias, pero solo se necesitan un par de rondas de interacción para darse cuenta de que estas herramientas no son capaces de llevar a cabo ningún razonamiento profundo para poder resolver tareas más complejas. Por el momento, es necesario combinar IA y humanos para conseguir eso.

 

 

Dices que este proyecto de investigación se centrará en combinar el aprendizaje profundo y la predicción estructurada para resolver tareas complejas en el procesamiento del lenguaje natural, incluyendo la traducción automática, la estimación de la calidad y el análisis sintáctico. ¿Podrías explicarnos a qué te refieres con eso?

El lenguaje está lleno de estructuras: formamos palabras a partir de morfemas que luego combinamos en frases que a su vez forman oraciones, y así sucesivamente.

Comprender esta estructura sintáctica es clave para entender el significado de una oración, como en «Mientras estaba comiendo, la pizza llegó». Como «Comiendo la pizza» es una frase tan común, es fácil que se haga una interpretación errónea de esta oración. A pesar de los últimos avances en aprendizaje profundo para el procesamiento del lenguaje natural, los métodos existentes aún no logran abordar y comprender este tipo de estructuras.

Por ejemplo, los sistemas de traducción automática normalmente traducen las palabras de izquierda a derecha, de forma que son frecuentes este tipo de errores. En este proyecto, desarrollaremos una nueva generación de métodos de aprendizaje profundo específicamente diseñados para descubrir y gestionar la estructura.

Además, queremos que estos sistemas sean comprensibles para los humanos: cuando estimen que una traducción es de baja calidad, queremos que justifiquen esa decisión identificando las palabras que se han traducido de forma incorrecta. Esto hará que sea más fácil que humanos y AI puedan trabajar en colaboración.

¿Puedes darnos ejemplos de las tareas más complicadas que hay en el procesamiento del lenguaje natural?

Todas las tareas que requieren la comprensión del lenguaje (un término que va más allá del procesamiento) son extremadamente complejas. Hoy en día, se ha mejorado mucho en cuanto al reconocimiento de voz. Pero, ¿cómo se puede lograr que las máquinas entiendan a los humanos y les ayuden a resolver problemas? Para ello, necesitamos la traducción automática (para eliminar las barreras de lenguaje), la búsqueda de respuestas (para ayudar a los humanos a encontrar información) y los sistemas de diálogo orientados a objetivos (para trabajar de forma interactiva con humanos en la resolución de tareas, como puede ser la reserva de un vuelo). Estas son tareas realmente complicadas.

¿Qué esperas lograr en el 2023, cuando este estudio finalice?

Espero tener un conjunto de métodos de aprendizaje profundo 2.0 que (i) puedan gestionar e identificar la estructura del lenguaje, (ii) puedan ser interpretados por los humanos y (iii) sean eficientes en cuanto a los datos, incluso para los idiomas con pocos recursos. ¡Con estos ingredientes podemos dar un gran salto hacia el objetivo de conseguir una comunicación multilingüe!


El proyecto se llevará a cabo en colaboración con Unbabel, el Instituto de Telecomunicaçõesy el Instituto Técnico superiorde la Universidad de Lisboa (IST).

Si estás interesado en formar parte de este proyecto, consulta la descripción completa del mismo aquí.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon