Comment fonctionne la saisie vocale

Quelle est la précision de la saisie vocale ? Taux d'erreur, vitesse et vraies limites

Comment on mesure la précision de la reconnaissance vocale (taux d'erreur sur les mots), ce que disent les études sur la vitesse de la dictée face à la frappe, ce qui dégrade les résultats et quels mots toujours vérifier.

MacWindowsiPhoneAndroid

En bref

La précision se mesure en général par le taux d'erreur sur les mots (WER) : mots substitués, supprimés et insérés divisés par le nombre de mots réellement prononcés. C'est utile mais étroit : la ponctuation, la mise en forme et le sens n'y sont pas. Les études montrent que parler est environ trois fois plus rapide que taper sur un téléphone. Les erreurs se concentrent sur les noms, les nombres et le bruit : ce sont ces mots qu'il faut vérifier avant d'envoyer.

Gmail

Vous avez dit

merci de virer mille cinq cents et non cinq mille sur le compte du fournisseur

SayVelio a écrit

Merci de virer 1 500, et non 5 000, sur le compte du fournisseur.

Trois types d'erreurs

Quand un système de reconnaissance se trompe, il fait l'une de ces trois choses :

  • Substitution : un mot est remplacé par un autre (« seize » → « six »).
  • Suppression : un mot disparaît (le « pas » s'envole).
  • Insertion : un mot apparaît alors qu'il n'a pas été dit.

Le taux d'erreur sur les mots (WER)

La mesure standard compte ces trois types par rapport à une transcription de référence correcte :

WER = (substitutions + suppressions + insertions) ÷ nombre de mots de la référence

Un exemple. La référence compte 10 mots : « merci d'envoyer le rapport final à Marie avant vendredi matin ». Le système écrit « merci d'envoyer le rapport final à Mari avant vendredi midi » : 2 substitutions, 0 suppression, 0 insertion. WER = 2 ÷ 10 = 20 %.

Le taux d'erreur compte les mots substitués, supprimés et insérés par rapport aux mots prononcés
Taux d'erreur sur les mots : (S + D + I) ÷ N

Ce que le WER ne dit pas

Le WER est une bonne mesure technique et un mauvais résumé de l'expérience utilisateur :

  • Tous les mots pèsent pareil. Un « le » manquant et un « pas » manquant coûtent chacun une erreur, alors qu'un seul inverse le sens.
  • Il dépend des règles de comptage. « 5 » contre « cinq », est-ce une erreur ? « OK » contre « okay » ? Le résultat varie selon la normalisation du texte avant comparaison.
  • Il ignore la ponctuation et la mise en forme, c'est-à-dire le travail du nettoyage.
  • Il est lié à son jeu de test. Un WER bas sur de la parole lue et propre en dit peu sur votre accent, votre micro ou le vocabulaire de votre métier.

Comparer deux produits n'a donc de sens qu'avec le même son, la même langue, la même tâche et les mêmes règles. Un nom de marque ou une promesse publicitaire de vitesse ne remplace pas cette comparaison.

La dictée est-elle plus rapide que la frappe ?

Voici ce qu'ont trouvé des études évaluées par des pairs :

Vitesse moyenne en mots par minute : clavier physique 52, clavier de téléphone 36, voix sur téléphone 153
Mots par minute dans trois études : parler est environ trois fois plus rapide que taper
MéthodeVitesse moyenneÉtude
Clavier physique52 mots par minuteDhakal et al., CHI 2018, 168 000 volontaires
Clavier tactile de téléphone36,2 mots par minutePalin et al., MobileHCI 2019, 37 370 volontaires
Voix sur téléphone (anglais)153 mots par minuteRuan et al., 2017, messages courts en laboratoire
Clavier de téléphone dans la même étude52 mots par minuteRuan et al., 2017

Dans l'étude de Stanford menée par Ruan et ses collègues, la voix était 2,93 fois plus rapide que le clavier du téléphone en anglais et 2,87 fois en chinois mandarin. Les participants avaient moins d'erreurs à corriger en cours de route (taux d'erreurs corrigées de 5,3 % contre 11,2 % en anglais), même s'il restait un peu plus d'erreurs dans le texte dicté final (1,3 % contre 0,8 %). Les études portaient sur des tâches et des personnes différentes : prenez la comparaison comme un ordre de grandeur, pas comme un ratio exact. Au travail, on passe aussi du temps à réfléchir et à relire ; le gain quotidien est donc plus faible qu'en laboratoire, mais il reste important pour les messages longs.

Ce qui dégrade les résultats

La vitesse a aussi un prix

L'attente totale additionne plusieurs étapes : fin de l'enregistrement, envoi, reconnaissance, nettoyage facultatif et insertion du texte. Les systèmes en streaming doivent en plus décider quand figer les mots, entre texte précoce et corrections ultérieures. Dans SayVelio, les modes de dictée vous laissent choisir : Rapide insère le texte reconnu sans nettoyage, Équilibré et Qualité maximale ajoutent le nettoyage pour un texte plus soigné.

À toujours vérifier avant d'envoyer

Pour un texte qui compte, c'est vous qui relisez en dernier. Regardez à deux fois :

  • les nombres et montants, devises et décimales comprises ;
  • les noms de personnes, d'entreprises et de produits ;
  • les négations : « ne… pas », « jamais », « aucun » ;
  • les dates et heures ;
  • les consignes médicales, juridiques et financières ;
  • tout ce qu'un nettoyage a pu reformuler.

Une correction facile rend la dictée utile même quand elle n'est pas parfaite, mais la commodité ne prouve pas qu'aucune erreur n'a eu lieu.

Sources

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Résumé de l'université de Cambridge
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Page du projet
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

Questions fréquentes

Qu'est-ce qu'un bon WER ?

Cela dépend du son et de la tâche. Une dictée claire dans une pièce calme avec un modèle récent affiche souvent un WER de quelques pour cent, alors que des enregistrements bruyants à plusieurs voix peuvent être bien plus élevés. Ne comparez des systèmes que sur le même son et avec les mêmes règles.

Le WER peut-il dépasser 100 % ?

Oui. Les insertions comptent aussi : un système qui ajoute beaucoup de mots non prononcés peut faire plus d'erreurs qu'il n'y avait de mots.