Uno dei nostri compiti più importanti qui ad Unbabel è quello fornire traduzioni di alta qualità. Ma come sappiamo se una particolare traduzione è di alta qualità? Persone diverse possono avere opinioni diverse su ciò che costituisce una buona traduzione. Persino la stessa persona può avere una diversa percezione della stessa traduzione se gli viene chiesto di valutarla a poche settimane di distanza. Molti fattori contribuiscono alla natura soggettiva della traduzione: il linguaggio delle persone viene modellato dal luogo in cui crescono, dal linguaggio dei propri genitori, dai libri che leggono… e semplicemente dalla comunicazione quotidiana.

Come traduttore professionista io stesso, quando lavoravo come revisore su grandi progetti di traduzione, non mi era facile a volte distinguere ciò che era sbagliato da ciò che era solo scritto in un modo che non era quello in cui avrei voluto scriverlo. In effetti, quello che può sembrare idiomatico a me, potrebbe non sembrare idiomatico a qualcun altro, anche se proveniamo dallo stesso paese — potremmo rappresentare una regione, una generazione o una classe sociale diversa.

Ho scoperto che ricevere istruzioni, con esempi concreti, del tipo di modifiche che non erano necessarie quando revisionavo, mi ha aiutato a capire meglio l’ambito del mio lavoro. Così venivo messo a conoscenza di tutte le specifiche del progetto, in particolare sapevo quale fosse il pubblico della traduzione, quindi non perdevo tempo a fare modifiche che obiettivamente non avrebbero migliorato la qualità della traduzione.

Questa soggettività intrinseca — dopotutto, non c’è solo una traduzione corretta — pone grandi sfide quando l’obiettivo è quello di migliorare la qualità delle traduzioni prodotte dai nostri sistemi di traduzione automatica e perfezionate dalla nostra comunità di editor.

Metriche multidimensionali della qualità: un metodo

Identificare una cattiva traduzione è di certo abbastanza facile, giusto? Abbiamo riso tutti degli errori di traduzione automatica, come quando Google Translate ha scambiato “Ooga Booga Wooga” per somalo o quando un Hotel nella capitale del Kurdistan iracheno ha cercato di tradurre l’opzione della polpetta ad un buffet — che, non avendo un equivalente diretto in arabo, è stata traslitterata come ميت بول ed accompagnata da questa inquietante traduzione inglese: “Paul is Dead” (Paul è morto).

Ma la tecnologia di traduzione automatica è notevolmente migliorata negli ultimi anni e sta diventando più difficile trovare errori così evidenti. Spesso sono molto più sottili. Ad esempio, quando digiti “Lo pillaron conduciendo a 120 km/h” nell’interfaccia di un sistema di traduzione automatica online gratuito, la traduzione in inglese risulta essere “He was caught driving 70 mph.” Sembra buona! Converte anche le unità. Ma 120 km/h sono in realtà più vicini a 75 mph; questo è un errore di traduzione che può influire seriamente sulla qualità finale della traduzione.

Non è raro che la traduzione automatica neurale d’avanguardia produca testi che si leggono molto bene, ma che hanno un significato diverso da quello del testo originale. Ma noi non siamo al di sopra di eventuali rimproveri — sbagliare è (anche) umano ed anche i traduttori esperti a volte commettono errori.

Quindi, per identificare le aree di miglioramento, sia nei nostri sistemi di traduzione automatica che nella nostra comunità di editor e condurre entrambi all’eccellenza, abbiamo bisogno di un metodo efficace e preciso per valutare la qualità della traduzione. Questo viene a noi fornito dal metodo delle Metriche multidimensionali della qualità o MQM (Multidimensional Quality Metrics) , sviluppato nell’ambito del progetto QTLaunchPad finanziato dall’UE, che mira a ridurre le barriere linguistiche globali.

MQM offre un sistema completo, gerarchico, flessibile e standardizzato, che ci consente di individuare e di affrontare le problematiche della qualità della traduzione. Nello specifico, MQM offre una vasta serie di tipologie di problematiche, un ordine di gravità ed un meccanismo di punteggio per quantificare la qualità della traduzione.

In base ai requisiti specifici di un progetto di traduzione, come la finalità o il pubblico del testo, MQM ci consente di definire una metrica personalizzata della qualità, con maggiore o minore livello di dettaglio. Questo è utile nei casi in cui un cliente non sia interessato a determinate problematiche, ad esempio quelle relative alla punteggiatura. Quando si verifica un caso del genere, possiamo regolare MQM perché non tenga conto di tali problematiche. MQM ci permette di misurare ciò che conta per i nostri clienti e di adattare su di loro il concetto di qualità.

Il nostro approccio

Con una metrica di qualità definita, linguisti esperti riportano l’annotazione dell’errore sul nostro strumento di annotazione. Il processo di annotazione prevede, per ogni errore riscontrato, per prima cosa di evidenziare l’intervallo dell’errore; quindi di classificarlo in base all’elenco delle problematiche di tale metrica personalizzata ed infine, di assegnargli una gravità. In Unbabel utilizziamo una metrica conforme a MQM, con le seguenti categorie principali, ognuna contenente le proprie sotto-categorie:

Precisione

Questa dimensione caratterizza le problematiche relative a quanto bene la traduzione trasmetta il significato del testo di partenza. Ci sono stati alcuni problemi di precisione tristemente noti, che hanno provocato confusione… o ilarità. Ad esempio, quando Steven Seymour, che fu il traduttore del Presidente degli Stati Uniti Carter durante una visita in Polonia nel 1977, tradusse il suo essere felice di essere lì come “felice di afferrare le parti private della Polonia”, come riportato dalla rivista Time. In questo caso l’unico danno fu alla reputazione di Carter — e a quella del traduttore —, ma questi errori possono portare a gravi difetti nella comunicazione ed alcuni sostengono che possano persino aver contribuito alla rottura delle relazioni politiche in tempo di guerra.

Scorrevolezza

La scorrevolezza riguarda quanto naturale suoni il testo nella lingua di destinazione. Problemi di scorrevolezza possono presentarsi per qualsiasi contenuto, non solo nelle traduzioni. Quei titoli di film che contengono una serie di problemi di scorrevolezza, alcuni dei quali sono sicuramente intenzionali.

Stile

I problemi di stile si verificano quando la traduzione non è conforme ai requisiti specificati relativi al registro o alla terminologia. Un livello di cortesia sbagliato, quando ci si rivolge ad un cliente giapponese, viene percepito come molto offensivo. Anche i problemi di terminologia rientrano in questa categoria: ad esempio, utilizzare Trash invece di Bin in un contesto MacOs può causare incomprensioni quando si fornisce supporto tecnico in inglese.

Oltre a classificare le problematiche in base alle tre precedenti categorie e relative sotto-categorie, i nostri esperti linguisti assegnano ad ogni problema uno dei tre seguenti livelli di gravità: minore, maggiore o critico.

I problemi minori non influiscono sulla finalità o sulla comprensibilità del contenuto, ma possono renderlo meno attraente. Ad esempio, in spagnolo il modo consigliato per tradurre una percentuale come20% è20 % , con uno spazio tra la cifra ed il simbolo. Se una traduzione non rispettasse questa cosa, può comunque essere una traduzione adatta alla finalità e comprensibile.

I problemi maggiori riguardano la finalità e la comprensibilità del contenuto. Un esempio di problema maggiore può essere un errore grammaticale, che rende difficile comprendere una frase, ma l’obiettivo generale del testo di partenza viene mantenuto nella traduzione. Pensa ad una conversazione in chat in cui la frase di chiusura sia: “Fammi sapere se c’è qualcos’altro in cui posso a te, in qualsiasi momento!”

I problemi critici differiscono dai problemi maggiori perché danno risultati negativi. Rendono inutile la traduzione e possono avere conseguenze per la salute, la sicurezza, legali o finanziarie o potrebbero risultare offensive. Ad esempio: immagina quando vengono fornite informazioni sulla garanzia ad un cliente, in cui si dice che la data di scadenza nel formato originale inglese (USA) è 11/12/20 (12 novembre 2020). Se in spagnolo la traduzione fosse 11/12/20 (11 dicembre 2020), il cliente potrebbe perdere i propri diritti legali di garanzia, ritenendo di avere più tempo per presentare un reclamo di quanto ne abbia effettivamente.

A ciascuno dei livelli di gravità sopra indicati sono associati dei punti di penalità, che vengono quindi divisi per il numero complessivo di parole da tradurre. Quindi, una semplice formula prende in considerazione il conteggio della lunghezza del testo e la gravità dei problemi, fornendo poi una misura numerica della qualità della traduzione in base alle specifiche stabilite all’inizio del progetto.

È in continuo miglioramento

Poiché MQM è fortemente standardizzato, l’utilizzo di una metrica conforme a MQM aiuta a mitigare la soggettività nella valutazione della qualità della traduzione. Ma come molti nel mondo accademico e nel settore sanno, nessuna metrica fa scomparire completamente la soggettività.

Ad esempio, se nel testo di partenza abbiamo “Amo Lisbona” e nella traduzione si legge lisbona, senza la L maiuscola, che tipo di errore abbiamo? È una problematica di entità o una problematica di capitalizzazione ?

Lavoriamo sempre per ridurre questa inevitabile soggettività, direzionando il processo di annotazione, fornendo ai linguisti ampie linee guida per le annotazioni e materiali di formazione con esempi. Siamo costantemente in contatto con loro per aiutarli a risolvere gli eventuali dubbi quando si presentano o per chiarire le problematiche e queste interazioni a loro volta ci aiutano a migliorare le nostre linee guida, in modo che vengano perfezionate e diventino più chiare col tempo.

Nel complesso, MQM ha dimostrato di essere un modello molto utile per valutare in modo sistematico la qualità della traduzione, permettendoci di identificare complesse problematiche linguistiche e di agire su di esse. Ma indipendentemente da quante formule e linee guida sviluppiamo per controllare il processo, i modi peculiari in cui usiamo il linguaggio, la sua soggettività, le sue stranezze, comportano che la traduzione sarà sempre in parte scienza e in parte arte. E non vorremmo che fosse diverso.