“Qualitätsbewertung ist alles, was in der maschinellen Übersetzung fehlt.”

4 min read

So sagte mir João Graça,Unbabels Mitgründer und CTO neulich, als wir Kaffee getrunken haben. Die Wahrheit ist, dass Maschinen es nicht immer richtig machen und wir alle wissen, wie peinlich eine schlechte Übersetzung sein kann.

Aber woher wissen wir, wenn eine automatische maschinelle Übersetzung schlecht ist? Können wir herausfinden, wo etwas schief gelaufen ist? Es zeigt sich, dass es ein ganzes Feld von Studien darüber gibt, und sowohl João als auch André Martins, Unbabels Forschungsleiter, sind zwei der weltweit führenden Forscher auf diesem Gebiet.

Ich habe mich mit beiden zu einem Gespräch zusammengesetzt. Unbabel’s preisgekröntes Qualitätsbewertungssystem und wie es funktioniert, sowie unsere automatischen Nachbearbeitungstools. Zwei Themen, die auf der AMTA 2018 (Vereinigung für maschinelle Übersetzung in Amerika) diskutiert werden, und zwar in einem Workshop, der vom Unbabel-Team am 21. März 2018 gehalten wird.

Was bedeuted Bewertung der Übersetzungsqualität?

Das Ziel der Qualitätsbewertung besteht darin, die Qualität eines Übersetzungssystems ohne Zugang zu Referenzübersetzungen zu bewerten. Laut André Martins kann es auf viele verschiedene Arten verwendet werden:

  • Zur Information eines Endbenutzers über die Zuverlässigkeit von übersetzten Inhalten
  • Bei der Entscheidung, ob eine Übersetzung zur Veröffentlichung bereit ist, oder ob eine Nachbearbeitung erforderlich ist
  • Beim Anzeigen des Vokabulars, das einer Änderung bedarf.

“Die Idee dabei ist, eine schnelle Übersetzung zu liefern und die Kosten zu senken”.

Aber wie funktioniert unser System zur Bewertung der Übersetzungsqualität?

Unbabels preisgekröntes System zur Bewertung der Übersetzungsqualität

Wir arbeiten seit der Gründung von Unbabel vor fast 5 Jahren an der Bewertung der Übersetzungsqualität und an automatischen Nachbearbeitungs-Tools, die es uns beide ermöglichen hochqualitative Übersetzungen im Rahmen der maschinellen Übersetzung bereitzustellen.

In João Graças Worten:”Das preisgekrönte Qualitätsbewertungssystem bei Unbabel stellt sicher, dass eine Übersetzung von mangelhafter Qualität erkannt und von unserer Gemeinschaft von 55.000 Redakteuren überprüft wird, die dann Fehler sehr schnell korrigieren und den Kunden eine qualitativ hochwertige Übersetzung liefern können. Und je mehr wir übersetzen, desto mehr lernt das System und desto weniger Fehler macht es.

Dies macht das Qualitätsbewertungssystem zu einer der Schlüsselkomponenten von Unbabels Übersetzungsnetzwerk.

Wie funktioniert das?

Wir überprüfen die von den Redakteuren vorgenommenen Korrekturen am Text aus der maschinellen Übersetzung und mit diesen Daten können wir die Art der Korrekturen verstehen, die die Redakteure üblicherweise vornehmen. Dadurch können wir Muster erkennen und verstehen lernen, so dass wir bei ähnlichen Texten genau wissen, was redigiert werden muss, bevor Menschen in den Prozess einbezogen werden.“- André Martins.

Wenn die Übersetzung eine gute Bewertung erhält, wird sie an den Kunden gesendet, ohne dass jemals Menschen in den Prozess einbezogen werden. Wenn die Bewertung jedoch schlecht ausfällt, identifiziert das System die falschen Wörter, was es den nachbearbeitenden Redakteuren ermöglicht, besondere Aufmerksamkeit auf jene Satzteile zu richten, die geändert werden müssen.

Aber das ist nicht alles. “Wir haben auch ein Tool namens Smartcheck entwickelt, das nach Grammatikfehlern sucht oder nach allem, was nicht mit den vom Kunden vorgegebenen Richtlinien übereinstimmt“, erklärte André.

Was ist mit automatischer Nachbearbeitung?

Du kannst dir die Qualitätsbewertung als eine Methode vorstellen, die Übersetzungsfehler erkennt – die automatische Nachbearbeitung dient zur Korrektur dieser Fehler“, sagte André Martins.

Bei Unbabel haben wir Qualitätsbewertung auch mit automatischer Nachbearbeitung kombiniert und konnten in der Verbindung dieser beiden Technologien grosse Vorteile erkennen.

Angesichts der Gemeinsamkeiten von Qualitätsbewertung und automatischer Nachbearbeitung haben wir beschlossen unsere Bemühungen zu fokusieren, um herauszufinden, wie wir bessere Ergebnisse erzielen können. Also haben wir uns mit Marcin Junczys-Dowmunt von der Adam Mickiewicz Universität zusammgeschlossen und deren automatisches Nachbearbeitungssystem mit unserem Qualitätsbwertungssytem kombiniert. Die Ergebnisse waren ziemlich beeindruckend. Wir haben unseren bisher besten Wort-zu-Wort-Wert von 49,5% auf den neuesten Stand der Technik, mit nun 57,5%, verbessert und konnten ein Qualitätsbewertungssystem für Sätze aufbauen. – erklärte João Graça.

Unbabels Workshop bei AMTA 2018

Qualitätsbewertung ist ein Thema, das oft in der Forschung diskutiert wird, aber laut João Graça ″nicht so viel in der Branche“. Also, die Idee für diesen Workshop ist “Leute zusammenzubringen, die sich mit Qualitätsbewertung beschäftigen und durchzugehen, wie diese bei vielen unterschiedlichen Systemen angewendet wird.“, wie João mir sagte.

Dies ermöglicht es jedem, besser zu verstehen, wie die Zukunft der Qualitätsbewertung aussieht, und wie diese für die Industrie nützlicher gemacht werden kann.

Wenn Sie interessiert sind mehr über das Qualitätsbewertungssystem von Unbabel zu erfahren, schauen Sie es sich genauer an – uns sollten Sie Ende März in Boston sein, besuchen Sie den AMTA 2018 Workshop.

ArtboardFacebook iconInstagram iconLinkedIn iconUnbabel BlogTwitter iconYouTube icon