Testmethodik: Sprachübersetzer

Wir testen Sprachübersetzer unter praxisnahen Bedingungen in ruhiger Umgebung und bei Hintergrundgeräuschen. Dabei prüfen wir Übersetzungsqualität, Spracherkennung und Gesprächsfluss ebenso wie Bedienung, Funktionsumfang, Ergonomie und Akkulaufzeit. Festgelegte Sätze, ein Hotel-Dialog und ein anspruchsvoller Fachvortrag bilden die Grundlage für vergleichbare Ergebnisse. Die Gesamtnote ergibt sich aus maximal 100 Punkten auf einer Skala von 1,0 (sehr gut) bis 6,0 (ungenügend).

Bedienung & App (8 %)

Wir messen die Zeit vom App-Start beziehungsweise der Installation bis zur ersten erfolgreichen Übersetzung. Anschließend prüfen wir Sprachwahl, Moduswechsel, Einstellungen und, sofern verfügbar, den Download von Offline-Sprachpaketen. Menüwechsel sowie Start und Stopp führen wir mehrfach durch und bewerten, wie schnell und zuverlässig das System reagiert.

Außerdem prüfen wir, welche Funktionen ein Konto oder Abonnement voraussetzen. Wir bewerten, ob Minutenlimits, Einschränkungen und kostenpflichtige Kernfunktionen vor der Nutzung klar erkennbar sind.

Übersetzungsleistung (45 %)

Wir spielen zehn festgelegte Standardsätze in gleicher Reihenfolge ab und vergleichen die Bedeutung mit den Referenzübersetzungen. Bei sechs weiteren Sätzen prüfen wir Zahlen, Zeiten, Namen, Adressen und andere kritische Angaben besonders genau. Einen vorgegebenen Hotel-Dialog mit acht Gesprächsbeiträgen führen wir ebenfalls in fester Reihenfolge durch. Dabei zählen wir Wiederholungen und manuelle Eingriffe und erfassen relevante Bedeutungsfehler.

Vier ausgewählte Standardsätze testen wir zusätzlich mit einer Café-Geräuschdatei bei etwa 60 dB(A). Wir bewerten, welche Aussagen korrekt bleiben und wie stark die Übersetzungsqualität gegenüber der ruhigen Umgebung nachlässt.

Verpflichtend ist ein festgelegter englischer Business- und Wissenschaftsvortrag von etwa zwei Minuten, den wir über ChatGPT Voice Mode vollständig und ohne Umformulierungen vorlesen lassen. Währenddessen lesen wir das englische Transkript nicht mit und nutzen den Übersetzer wie in einem echten Fachgespräch. Anschließend prüfen wir anhand von zehn Kontrollpunkten, ob Zahlen, Verneinungen und fachliche Zusammenhänge erhalten bleiben. Dieser anspruchsvolle Test macht 18 der insgesamt 45 Punkte des Bereichs aus. Ergänzend dokumentieren wir zwei bis drei besonders gelungene oder problematische Übersetzungsbeispiele.

Spracherkennung & Robustheit (17 %)

Wir prüfen die Erkennung festgelegter Sätze zunächst im ruhigen Raum und anschließend mit Café-Hintergrundgeräuschen bei etwa 60 dB(A). In beiden Situationen zählen wir die korrekt erkannten Sätze. Dabei bewerten wir die Erfassung der gesprochenen Inhalte getrennt von der Qualität ihrer Übersetzung.

Zusätzlich testen wir mindestens einen abweichenden Akzent sowie normales und schnelleres Sprechtempo. Mit zehn schnellen Sprecherwechseln beziehungsweise kurzen Wechselreden prüfen wir, ob das System Beiträge und Satzgrenzen korrekt trennt.

Latenz & Gesprächsfluss (12 %)

Für die zehn Standardsätze messen wir mit einer Videoaufnahme mit 60 Bildern pro Sekunde die Zeit vom Satzende bis zum Beginn einer verständlichen Übersetzung. Im vorgegebenen Hotel-Dialog erfassen wir außerdem, wie viele Wiederholungen oder manuelle Eingriffe den Gesprächsfluss unterbrechen.

Die Stabilität prüfen wir durch 20 Minuten durchgehende Nutzung im wichtigsten Übersetzungsmodus. Wir dokumentieren Hänger, Verbindungsabbrüche und Abstürze sowie die Frage, ob sich das System selbst wieder erholt.

Funktionsumfang & Offline (7 %)

Wir zählen die tatsächlich auswählbaren Online-Sprachen und erfassen Akzente separat. Sofern Offline-Sprachpakete vorhanden sind, laden wir diese vollständig herunter, aktivieren den Flugmodus und prüfen die Übersetzung ohne Internetverbindung. Dabei bewerten wir den nutzbaren Umfang und mögliche Einschränkungen.

Vorhandene Anruf-, Medien- und Meetingmodi testen wir praktisch. Dasselbe gilt für Transkripte, Exporte, Zusammenfassungen und weitere KI-Funktionen. Entscheidend sind ihre Zuverlässigkeit und ihr Nutzen im Alltag.

Hardware & Tragekomfort (7 %)

Übersetzungskopfhörer tragen wir mindestens zwei Stunden und bewerten Sitz und mögliche Druckstellen. Bei Handgeräten prüfen wir entsprechend die Ergonomie und Handhabung über längere Nutzung. Wir kontrollieren Gehäuse und, sofern vorhanden, Case, Scharniere, Magnete und Ladepins auf stabile Verarbeitung, saubere Passungen und auffällige Kanten. Destruktive Falltests gehören nicht zum Ablauf.

Die übersetzte Stimme hören wir sowohl in Ruhe als auch bei etwa 55 dB(A) Hintergrundgeräusch an. Zusätzlich nutzen wir den vorgesehenen Gesprächsmodus im Alltag. Bei Kopfhörern mit Sharing-Funktion testen wir die Nutzung mit zwei Personen. Bei anderen Geräten bewerten wir entsprechend die Alltagstauglichkeit ihres Gesprächsmodus.

Akku & Mobilität (4 %)

Wir lassen den Sprachübersetzer im wichtigsten Übersetzungsmodus bis zur Abschaltung laufen und dokumentieren die Akkulaufzeit. Bei Modellen mit Ladecase erfassen wir zusätzlich die Gesamtlaufzeit einschließlich der Nachladungen und die vollständige Ladezeit.

Bei Geräten ohne Ladecase prüfen wir entsprechend die erreichbare mobile Gesamtlaufzeit und Ladezeit. Falls die Bauart eines Handgeräts eine abweichende Einordnung der Laufzeit erfordert, begründen wir diese in der Testdokumentation.