Risolvere i problemi della traduzione automatica, un passo per volta

7 min read

Da piccolo pensavo che sarei diventato un matematico o un fisico. Capii molto presto che volevo studiare e diventare ricercatore, o anche insegnante, in uno di questi campi. Non sapevo cosa fosse l’intelligenza artificiale. A dire il vero, durante i primi anni da studente universitario di informatica, pensai spesso di passare alla matematica. Per fortuna non lo feci.

Mia nonna non ha un’idea chiara del lavoro che faccio, perché per svolgerlo è necessario usare internet. Se a una persona come mia nonna dicessi che in Unbabel automatizziamo le attività umane, probabilmente resterebbe impalata a fissarmi in modo assente.

In un certo senso, il futuro che immaginavo da bambino non era poi così diverso da quello che poi è stato. Voglio dire, il campo della traduzione automatica nacque con Warren Weaver in seguito alla Seconda guerra mondiale, dopo che Allen Turing, un matematico, decifrò il codice di Enigma.

Possiamo infatti considerare la lingua come un codice. La differenza è che i codici sono formali, privi di ambiguità, ed è proprio l’ambiguità a rendere così complessa la traduzione.

Lo stato della traduzione automatica

Ci sono persone che hanno una qualche idea di cosa fa Unbabel: prendiamo un testo scritto in una determinata lingua e lo traduciamo in un’altra lingua. Tuttavia ci sono persone che non sanno neanche cosa sia l’intelligenza artificiale. C’è chi pensa che l’IA abbia solo a che fare con la robotica, ma non è così. In qualche modo l’IA imita il comportamento umano, e in alcuni casi produce risultati migliori degli esseri umani .

Iniziamo con le basi: come funzionano i sistemi di machine learning? Si invia un oggetto sorgente al sistema, in questo caso una frase, e gli si chiede di prevedere qualcosa, ovvero una frase target.

La difficoltà della traduzione sta nel fatto che non esiste uno standard di riferimento. Uno standard di riferimento rappresenta l’indiscutibile verità. Se proviamo a mostrare delle immagini a una macchina e a chiederle “è un gatto o un cane?”, solo una tra due risposte è indiscutibilmente vera. Non è il caso della traduzione automatica, perché si possono avere 20 traduzioni diverse, ma tutte valide. Per iniziare, è un problema molto più complesso. Cosa determina la validità di una traduzione? Occorre inoltre considerare che la lingua è fortemente soggetta ad ambiguità. Le parole possono avere diversi significati a seconda dei contesti. E così il problema della traduzione è in buona parte irrisolto.

Se guardiamo bene, i progressi della traduzione automatica negli ultimi anni sono stati marginali, contrariamente a quanto si crede. In precedenza, i sistemi di traduzione automatica statistica producevano output molto artificiali e davvero poco naturali. Oggi sembrano produrre output più naturali, ma questi sistemi risultano meno adeguati rispetto a prima, in quanto sono migliorati nella forma, ma non nel contenuto. Al giorno d’oggi le traduzioni automatiche possono essere insufficienti dal punto di vista del contenuto, ma essere comunque più naturali. Nel complesso sono sistemi migliori.

Con la traduzione automatica allo stato attuale, è possibile capire almeno il senso generale del testo. La traduzione sta diventando sempre più naturale, nonostante i sistemi utilizzino ancora modelli molto semplici e abbiano una conoscenza limitata della lingua. Questi sistemi traducono ancora una frase per volta. Chiunque ritenga che i problemi della traduzione automatica siano stati risolti, evidentemente non sa cosa dice.

Per Unbabel, in quanto azienda che vende soluzioni di assistenza multilingue a grandi imprese che interagiscono con migliaia o milioni di clienti ogni giorno, rappresenta un problema perché quasi sempre, quando si parla di traduzione automatica, si pensa subito agli errori che questa compie. Non si può certo dire che la traduzione automatica sia perfetta, tuttavia ha raggiunto un certo livello di adeguatezza. Ha ancora bisogno di un tocco umano che doni quel pizzico di qualità in più.

In una chat, ad esempio, c’è una persona che dialoga con un’altra ed è quindi possibile correggere gli errori molto più velocemente. Se dite qualcosa di incomprensibile, l’altra persona potrebbe dire “Cosa? Non ho capito”, e quindi potrete ritentare la traduzione.

In pratica significa che siete voi stessi a stimare la qualità, perché in fin dei conti desiderate un dialogo che sia efficace.

L’importanza della stima della qualità

La stima della qualità, ciò che usiamo per valutare la qualità di un sistema di traduzione senza accedere alle traduzioni di riferimento o all’intervento umano, è il segreto della traduzione automatica. C’è infatti chi sostiene che possa risolvere il problema di individuare la traduzione corretta, perché attualmente abbiamo un sistema in atto che stabilisce la validità di una traduzione. Ciò non significa necessariamente stabilire se una traduzione è quella corretta, bensì se una delle possibili traduzioni è corretta.

Tuttavia la stima della qualità soffre gli stessi problemi della traduzione automatica, per cui ci si può aspettare lo stesso grado di precisione. Il problema principale della traduzione automatica è che commette sempre errori, per via delle complessità che affliggono la lingua. La precisione si aggira intorno al 90%, vuoi perché i modelli sono troppo semplici a causa della potenza computazionale, vuoi perché qualunque sistema di machine learning può commettere errori. Un 90% potrebbe sembrare tanto, ma pensandoci bene, significa che una frase su dieci sarà sbagliata.

La stima della qualità cerca di prevedere quelle frasi sbagliate o quanto meno di stabilire se un errore è grave o meno. In altre parole ci permette di utilizzare la traduzione automatica con un grado di affidabilità più elevato.

Noi di Unbabel dedichiamo molto del nostro tempo a risolvere i problemi della stima della qualità . Il team IA di base è quello che se ne occupa maggiormente e scopre nuovi modelli. Inoltre lavoriamo molto sull’IA applicata e sulla produzione, per rispondere a domande come:

  • Come si inserisce nell’iter di produzione?
  • È scalabile? Dovremmo cambiare l’obiettivo?
  • Come funziona con i nostri dati pratici?
  • Come si adattano questi modelli?

Poiché l’IA di base funziona principalmente sui dati di dominio generici, l’IA applicata deve fare in modo che questi dati funzionino all’atto pratico con le chat e le richieste di assistenza e verificare se funzionano con i diversi registri o meno. Si tratta di fare ricerca e poi di implementare le scoperte nel prodotto.

Crediamo fermamente nei nostri sistemi di stima della qualità. Inoltre crediamo nella ricerca riproducibile e collaborativa; ecco perché qualche mese fa abbiamo creato Open Kiwi, un framework open-source che utilizza i migliori sistemi di stima della qualità, in modo da semplificare notevolmente la sperimentazione e l’iterazione di questi modelli nello stesso framework, nonché sviluppare nuovi modelli.

Siamo forse una delle prime aziende che ha iniziato a utilizzare la stima della qualità nella fase di produzione e facciamo ricerche sul tema da moltissimo tempo. Ciò significa che abbiamo modelli migliori e una migliore comprensione del problema di altre aziende o ricercatori che lavorano sulla stima della qualità.

E i premi vanno a…

Ecco perché per me è stato un vero piacere aver riguadagnato il nostro titolo di miglior sistema di stima della qualità della traduzione automatica nel mondo alla conferenza per la World Machine Translation (WMT) all’inizio di quest’anno. E non solo: abbiamo anche vinto il concorso sul post-editing automatico.

Per noi è stato molto importante per due ragioni. La prima riguarda l’impatto della stima della qualità sul nostro iter di produzione, ovvero il ritorno sull’investimento che ci sta garantendo. In questo senso, non ha molta importanza se vinciamo questo o altri concorsi.

D’altra parte, però, vincere premi così prestigiosi dona visibilità al brand Unbabel, il che è essenziale per attirare l’attenzione di clienti e investitori. È inoltre un riconoscimento importante per il team IA, il cui lavoro è talvolta difficile da capire e apprezzare. L’IA comporta molti rischi, ma dà anche molte soddisfazioni. Si può lavorare un anno senza ottenere alcun risultato. Ad esempio, tutto il lavoro che abbiamo svolto sulla nostra stima della qualità umana non ha dato buon esito, perché non avevamo gli strumenti giusti.

Quindi questi premi favoriscono la visibilità, aumentano l’attenzione delle aziende e dell’ambiente accademico sul marchio Unbabel, ma giovano anche al morale. Unbabel è puramente un’azienda di IA. Oltre a utilizzare l’IA, la sviluppiamo e ne scopriamo nuove forme. E per quanto mi riguarda, essere riconosciuto pubblicamente significa tantissimo. Penso che il piccolo e aspirante matematico che è in me sarebbe fiero.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon