Den Inhalt bewahren. Im gesamten Manuskript.

So wird der Fehlerwert im Kurztextvergleich berechnet

Zwei KI-Prüfer, Claude Fable 5.1 und GPT-6 Astra, bewerteten jede Übersetzung anhand ihres Originals. Sie wussten nicht, wie die jeweilige Übersetzung entstanden war, und sahen die Bewertungen des anderen Prüfers nicht. Jeder Prüfer erfasste Fehler mit einer Kategorie, einem Schweregrad und einer Begründung. Die Kategorien folgen MQM (Multidimensional Quality Metrics), einem Rahmen zur Bewertung von Übersetzungsqualität.

Ein leichter Fehler zählt 1 Punkt, ein schwerer Fehler 5 Punkte, ein kritischer Fehler 10 Punkte. Die gewichteten Fehlerpunkte einer Übersetzung werden addiert, durch ihre Wortzahl geteilt und auf 100 Wörter umgerechnet. Der Wert einer Fassung für einen Text ist der Mittelwert der beiden Prüfer; ihr veröffentlichter Wert ist der Mittelwert über die zwölf Texte.

Im Kurztextvergleich las jedes Modell mit ProsaBridge zunächst den Text, erstellte einen Übersetzungsplan und übersetzte anhand dieses Plans. Bei der direkten Nutzung erhielt das Modell den Text und das gewünschte Ausgabeformat. Die veröffentlichten Daten nennen für jede Fassung das Modell und seine Einstellungen. Die Ergebnisse gelten für die jeweils getesteten Einstellungen.

Aussagekraft und Grenzen der Studien

Wir haben ein wissenschaftliches Buch zweimal mit GPT-6 Astra vom Deutschen ins Englische übersetzt: einmal mit ProsaBridge und einmal direkt mit dem Modell. Die Reasoning-Einstellung für die Übersetzung war beide Male „sehr hoch“. Bei der direkten Übersetzung erhielt das Modell das gesamte Buch mit der Anweisung, dass sich die Übersetzung wie ein englischsprachiges Original lesen sollte. Anschließend bewerteten beide unabhängigen Prüfer jeden Abschnitt anhand des deutschen Ausgangstexts. Sie wussten nicht, wie die Übersetzungen entstanden waren, und hatten keinen Zugriff auf das Glossar oder die Vorbereitungsunterlagen von ProsaBridge.

• Die Buchstudie bewertete die Übersetzungsqualität; den Zeitaufwand für das Lektorat und mögliche finanzielle Einsparungen untersuchte sie nicht. Vor der Veröffentlichung ist weiterhin eine redaktionelle Prüfung erforderlich.
• Die Buchstudie vergleicht zwei vollständige Übersetzungsabläufe anhand eines Buchs, mit einer Übersetzung pro Ablauf und unabhängiger Blindbewertung. Das direkt genutzte Modell erhielt das Glossar von ProsaBridge nicht. Der Beitrag einzelner Schritte lässt sich aus diesem Vergleich nicht bestimmen. Die Ergebnisse gelten für die damals getesteten Einstellungen und garantieren keine gleich große Verbesserung bei anderen Manuskripten. Modelle und Einstellungen können sich mit der Weiterentwicklung von ProsaBridge ändern. Das Kundenbuch bleibt vertraulich; die Werte und Abschnittszahlen stehen zum Herunterladen bereit.
• Im Kurztextvergleich wurde vom Englischen ins Deutsche übersetzt, in der Buchstudie vom Deutschen ins Englische. Andere Sprachpaare wurden nicht untersucht.
• Die beiden Studien verwenden unterschiedliche Texte, Sprachrichtungen und Berechnungen des Gesamtwerts. Ihre Werte lassen sich deshalb nur innerhalb der jeweiligen Studie vergleichen. Wie sich die Dokumentlänge auf den Vorteil von ProsaBridge auswirkt, lässt sich daraus nicht ablesen.
• Jede Studie wurde einmal durchgeführt; die Werte wurden nicht über mehrere Durchgänge gemittelt. Unterschiede von wenigen Hundertstelpunkten können auf Zufallsschwankungen beruhen.
• Die Prüfer sind KI-Modelle, und zwei der teilnehmenden Modelle sind zugleich die Prüfer. Ihre getrennten Werte sind sichtbar, damit Sie das selbst prüfen können. Der Sieger liegt auch dann vorn, wenn nur einer der beiden Prüfer zählt.

Was wir nicht veröffentlichen

• Die zwölf Texte. Sie wurden für diesen Benchmark geschrieben und nie veröffentlicht. Bei einer Veröffentlichung könnten künftige Modelle ihnen im Training begegnen, was spätere Vergleiche weniger aussagekräftig machen würde. Titel, Textsorte, Länge und Schwierigkeit stehen weiter unten.
• Die Anweisungen, die ProsaBridge den Modellen gibt, und die Anweisungen, denen die Prüfer folgen.
• Was die Durchgänge gekostet haben. Die Ergebnistabelle zeigt nur Vielfache der günstigsten Konfiguration.
• Die Notizen der Prüfer und die Übersetzungen selbst, weil sie die Texte offenlegen würden.

Die zwölf Texte

Sieben Kurzgeschichten und fünf Sachtexte mit jeweils besonderen übersetzerischen Herausforderungen.

Vor der Veröffentlichung entfernte Modelle

Diese Modelle haben während der Entwicklung teilgenommen und fehlen in den veröffentlichten Ergebnissen. Die Gründe für jeden Ausschluss sind mit Belegen dokumentiert.

Daten herunterladen

Durchgang

translationbench-run-fa35fa02-3190-4f82-b379-8d05b7dde5d7

Version

1.0 (7.2)

Abgeschlossen

12. September 2026