So funktioniert Spracheingabe

Wie genau ist Spracheingabe? Wortfehlerrate, Tempo und echte Grenzen

Wie die Genauigkeit von Spracherkennung gemessen wird (Wortfehlerrate), was Studien zum Tempo von Diktieren und Tippen sagen, was Ergebnisse verschlechtert und welche Wörter du immer prüfen solltest.

MacWindowsiPhoneAndroid

Kurz gesagt

Genauigkeit wird meist als Wortfehlerrate (WER) gemessen: ersetzte, ausgelassene und eingefügte Wörter geteilt durch die tatsächlich gesagten. Das ist nützlich, aber eng: Zeichensetzung, Formatierung und Bedeutung zählen nicht. Studien zeigen, dass Sprechen am Handy etwa dreimal so schnell ist wie Tippen. Fehler häufen sich bei Namen, Zahlen und Lärm, genau diese Wörter solltest du vor dem Senden prüfen.

Gmail

Du sagst

bitte überweisen sie dem lieferanten eintausendfünfhundert nicht fünftausend euro

SayVelio schrieb

Bitte überweisen Sie dem Lieferanten 1.500, nicht 5.000 Euro.

Drei Arten von Fehlern

Wenn ein Erkenner danebenliegt, tut er eins von drei Dingen:

  • Ersetzung: Ein Wort wird durch ein anderes ersetzt („fünfzehn“ → „fünfzig“).
  • Auslassung: Ein Wort fehlt („nicht“ verschwindet).
  • Einfügung: Ein Wort taucht auf, das niemand gesagt hat.

Wortfehlerrate (WER)

Das Standardmaß zählt diese drei gegen ein korrektes Referenztranskript:

WER = (Ersetzungen + Auslassungen + Einfügungen) ÷ Zahl der Wörter in der Referenz

Ein Beispiel. Die Referenz hat 10 Wörter: „bitte schick den finalen Bericht vor Freitagmorgen an Maria Schulz“. Das System schreibt „bitte schick den finalen Bericht vor Freitagmorgen an Mario Schultz“: 2 Ersetzungen, 0 Auslassungen, 0 Einfügungen. WER = 2 ÷ 10 = 20 %.

Die Wortfehlerrate zählt ersetzte, ausgelassene und eingefügte Wörter im Verhältnis zu den gesagten
Wortfehlerrate: (S + D + I) ÷ N

Was die WER nicht verrät

Die WER ist ein gutes technisches Maß und eine schlechte Zusammenfassung der Nutzererfahrung:

  • Alle Wörter zählen gleich. Ein fehlendes „und“ und ein fehlendes „nicht“ kosten je einen Fehler, obwohl nur eins den Sinn umkehrt.
  • Sie hängt von Zählregeln ab. Ist „5“ gegen „fünf“ ein Fehler? „OK“ gegen „okay“? Die Ergebnisse ändern sich je nachdem, wie Text vor dem Vergleich normalisiert wird.
  • Sie ignoriert Zeichensetzung und Formatierung, also den Teil, den die Bereinigung übernimmt.
  • Sie hängt an ihrem Testdatensatz. Eine niedrige WER bei sauber vorgelesener Sprache sagt wenig über deinen Akzent, dein Mikrofon oder das Vokabular deiner Branche.

Ein Vergleich zweier Produkte bedeutet also nur etwas mit demselben Audio, derselben Sprache, derselben Aufgabe und denselben Zählregeln. Ein Markenname oder ein Werbeversprechen zum Tempo ersetzt das nicht.

Wie schnell ist Diktieren im Vergleich zum Tippen?

Das haben begutachtete Studien gefunden:

Durchschnittliches Eingabetempo in Wörtern pro Minute: physische Tastatur 52, Handytastatur 36, Sprache am Handy 153
Wörter pro Minute in drei Studien: Sprechen ist etwa dreimal so schnell wie Tippen
EingabemethodeDurchschnittstempoStudie
Physische Tastatur52 Wörter pro MinuteDhakal u. a., CHI 2018, 168.000 Freiwillige
Bildschirmtastatur am Handy36,2 Wörter pro MinutePalin u. a., MobileHCI 2019, 37.370 Freiwillige
Sprache am Handy (Englisch)153 Wörter pro MinuteRuan u. a., 2017, kurze Nachrichten im Labor
Handytastatur in derselben Laborstudie52 Wörter pro MinuteRuan u. a., 2017

In der Stanford-Studie von Ruan und Kollegen war Sprache auf Englisch 2,93-mal und auf Mandarin-Chinesisch 2,87-mal so schnell wie die Handytastatur. Unterwegs mussten weniger Fehler korrigiert werden (korrigierte Fehlerrate 5,3 % gegenüber 11,2 % auf Englisch), dafür blieben im fertigen Sprachtext etwas mehr Fehler stehen (1,3 % gegenüber 0,8 %). Die Studien nutzten verschiedene Aufgaben und Personen, nimm den Vergleich also als grobes Bild, nicht als exaktes Verhältnis. Im Arbeitsalltag kommen Nachdenken und Prüfen dazu, der Gewinn ist also kleiner als im Labor, bei längeren Nachrichten aber immer noch groß.

Was Ergebnisse verschlechtert

  • Lärm und Hall: Stimmen im Hintergrund, entfernte Mikrofone, große Räume (siehe Rauschunterdrückung und Sprachaktivitätserkennung).
  • Mehrere Sprecher, die durcheinanderreden.
  • Übersteuertes Audio: so nah oder laut sprechen, dass das Signal verzerrt.
  • Unbekannte Namen und Fachjargon, die das Modell selten gesehen hat (siehe wie Kontext der Erkennung hilft).
  • Sprachwechsel mitten im Satz, mit denen manche Systeme schlecht umgehen.

Auch Tempo hat seinen Preis

Die gesamte Wartezeit setzt sich aus mehreren Teilen zusammen: Ende der Aufnahme, Senden, Erkennung, optionale Bereinigung und Einfügen. Streaming-Systeme müssen außerdem entscheiden, wie früh sie sich auf Wörter festlegen, und wägen frühen Text gegen spätere Korrekturen ab. In SayVelio wählst du mit den Diktiermodi: Schnell fügt den erkannten Text ohne Bereinigung ein, Ausgewogen und Beste Qualität ergänzen die Bereinigung für polierteren Text.

Das vor dem Senden immer prüfen

Bei wichtigen Texten bist du die letzte Kontrollinstanz. Schau zweimal hin bei:

  • Zahlen und Beträgen, inklusive Währung und Nachkommastellen;
  • Namen von Personen, Firmen und Produkten;
  • Verneinungen: „nicht“, „kein“, „nie“;
  • Daten und Uhrzeiten;
  • medizinischen, rechtlichen und finanziellen Anweisungen;
  • allem, was eine Bereinigung umformuliert haben könnte.

Einfache Korrektur macht Diktieren auch dann nützlich, wenn es nicht perfekt ist, aber Bequemlichkeit beweist nicht, dass kein Fehler passiert ist.

Quellen

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Zusammenfassung der University of Cambridge
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Projektseite
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

Häufige Fragen

Was ist eine gute Wortfehlerrate?

Das hängt von Audio und Aufgabe ab. Klares Diktieren in einem ruhigen Raum mit einem modernen Modell erreicht oft eine niedrige einstellige WER, verrauschte Aufnahmen mit mehreren Sprechern können deutlich höher liegen. Vergleiche Systeme nur mit demselben Audio und denselben Zählregeln.

Kann die WER über 100 % liegen?

Ja. Einfügungen zählen mit, also kann ein System, das viele nicht gesagte Wörter hinzufügt, mehr Fehler machen, als es Wörter gab.