Così mi ha detto João Graça, co-fondatore e CTO di Unbabel, l’altro giorno mentre bevevamo un caffè. La verità è che le macchine non sempre ci prendono, e sappiamo tutti quanto possa essere imbarazzante una brutta traduzione.

Ma come facciamo a sapere quando una traduzione automatica non è buona? È possibile sapere che cosa è andato storto? Ecco che scopriamo che esistono ampi studi su questo argomento, e così sia João che André Martins, a capo della ricerca condotta da Unbabel, sono due dei principali ricercatori al mondo nel settore.

Ho parlato con entrambi del premiato sistema di valutazione qualitativa di Unbabel e come funziona, così come i nostri strumenti di post editing automatici. Due argomenti che saranno discussi all’AMTA 2018 (Associazione americana per la Traduzione Automatica) in un workshop guidato dal team Unbabel, il 21 marzo 2018.

Qual è la valutazione qualitativa della traduzione?

L’obiettivo della Valutazione Qualitativa è stabilire la qualità di un sistema di traduzione senza avere accesso alle traduzioni di riferimento. Secondo André Martins, può essere utilizzata in molti modi diversi:

  • Informare un utente finale sull’affidabilità dei contenuti tradotti
  • Decidere se una traduzione è pronta per la pubblicazione o se richiede un post-editing umano
  • Evidenziando le parole che devono essere cambiate

“L’idea qui è quella di fornire una traduzione rapida e di ridurre i costi”.

Ma come funziona il nostro sistema di valutazione qualitativa della traduzione?

Unbabel ha ottenuto il Riconoscimento per la Valutazione Qualitativa della Traduzione.

Abbiamo lavorato sulla stima qualitativa della traduzione e sugli strumenti di post-editing automatici da quando Unbabel è stata fondata quasi 5 anni fa, ed entrambi ci hanno consentito di fornire traduzioni qualitative umane allo stesso livello della traduzione automatica.

Per usare le parole di João Graça, “abbiamo un sistema di valutazione qualitativa vincente in atto presso Unbabel che garantisce che se una traduzione non è buona, viene esaminata dalla nostra comunità di 55.000 redattori, che possono correggere gli errori molto rapidamente e fornire una traduzione di alta qualità ai nostri clienti. E più traduciamo, più il sistema impara e meno errori commette.

Ciò rende il sistema di valutazione qualitativa uno dei componenti chiave dei processi di traduzione di Unbabel.

Quindi, come avviene il processo?

Controlliamo le correzioni apportate dai redattori al testo della traduzione automatica e con questi dati riusciamo a capire il tipo di rettifiche che gli editori di solito fanno. Questo ci permette di individuare pattern che ci aiutano a capire quando abbiamo testi simili per sapere esattamente cosa deve essere modificato prima di coinvolgere l’uomo nel processo.“- André Martins.

Se la traduzione ha un buon punteggio, viene inviata al cliente senza mai coinvolgere l’uomo nel processo. Tuttavia, quando il punteggio è basso, il sistema identifica le parole che sono errate, consentendo ai post-editor umani di prestare particolare attenzione alle parti delle frasi che devono essere modificate.

Ma non è tutto. “Abbiamo anche sviluppato uno strumento chiamato Smartcheck che individua errori grammaticali o qualcosa che non è allineato con le linee guida che il cliente ci ha fornito“, ha spiegato André.

E per quanto riguarda il post-editing automatico, invece?

Si può pensare alla valutazione qualitativa come a un modo per rilevare gli errori nella traduzione e al post-editing automatico come un modo per correggerli“, ha detto André Martins.

Noi di Unbabel, abbiamo anche combinato la valutazione qualitativa con il post-editing automatico e abbiamo visto enormi benefici da queste due tecnologie esercitate o combinate insieme.

Data la somiglianza tra valutazione qualitativa e post-editing automatico, abbiamo deciso di unire i nostri sforzi per capire come possiamo ottenere risultati migliori. Quindi, ci siamo uniti a Marcin Junczys-Dowmunt, dell’Università Adam Mickiewicz e abbiamo combinato il loro sistema di post-editing automatico con il nostro di valutazione qualitativa. I risultati sono stati piuttosto impressionanti. Abbiamo aumentato il nostro precedente miglior punteggio a livello di parola dal 49,5% al 57,5%, e siamo stati in grado di costruire un sistema di punteggio qualitativo per quanto riguarda le frasi “. – ha spiegato João Graça.

Workshop di Unbabel presso l’AMTA 2018

La valutazione qualitativa è un argomento spesso discusso nella ricerca ma, secondo João Graça, “non così tanto nel settore”. Quindi, l’idea di questo workshop è di “riunire persone che lavorano sulla QE e scoprire come è utilizzata su molti sistemi diversi“, Come mi ha detto João.

Ciò consentirà a tutti di capire meglio quale sarà il futuro per la valutazione qualitativa e come renderla più utile per l’industria.

Se vuoi saperne di più sul sistema di valutazione qualitativo di Unbabel, dai uno sguardo più da vicino, e se ti trovi a Boston alla fine di marzo partecipa al workshop dell’AMTA 2018.