Насколько точен голосовой ввод? Доля ошибок в словах, скорость и реальные ограничения
Как измеряют точность распознавания речи (WER), что говорят исследования о скорости диктовки по сравнению с набором, что ухудшает результат и какие слова всегда стоит перепроверять.
Коротко
Точность обычно измеряют долей ошибок в словах (WER): заменённые, пропущенные и вставленные слова, делённые на число реально сказанных. Мера полезная, но узкая: она не учитывает пунктуацию, оформление и смысл. Исследования показывают, что говорить примерно в три раза быстрее, чем печатать на телефоне. Ошибки скапливаются вокруг имён, чисел и шума — эти слова и стоит проверять перед отправкой.
Вы сказали
пожалуйста переведите поставщику полторы тысячи а не пять тысяч
SayVelio напечатал
Пожалуйста, переведите поставщику 1 500, а не 5 000.
Три вида ошибок
Ошибаясь, распознаватель делает одно из трёх:
- Замена: слово заменено другим («пятнадцать» → «пятьдесят»).
- Пропуск: слово исчезло («не» пропало).
- Вставка: появилось слово, которого не говорили.
Доля ошибок в словах (WER)
Стандартная мера считает эти три вида относительно правильной эталонной расшифровки:
WER = (замены + пропуски + вставки) ÷ число слов в эталоне
Пример. В эталоне 10 слов: «пожалуйста отправь итоговый отчёт Марии до утра пятницы без опозданий». Система пишет «пожалуйста отправь итоговый отсчёт Марине до утра пятницы без опозданий»: 2 замены, 0 пропусков, 0 вставок. WER = 2 ÷ 10 = 20%.

Чего WER не говорит
WER — хорошая инженерная мера и плохое резюме пользовательского опыта:
- Все слова весят одинаково. Пропущенное «и» и пропущенное «не» стоят по одной ошибке, хотя смысл переворачивает только одно.
- Зависит от правил подсчёта. «5» и «пять» — ошибка? «ок» и «окей»? Результат меняется в зависимости от того, как нормализуют текст перед сравнением.
- Не учитывает пунктуацию и оформление — то, чем занимается этап обработки.
- Привязана к своему тестовому набору. Низкий WER на чистой начитанной речи мало что говорит о вашем акценте, микрофоне или словаре вашей отрасли.
Поэтому сравнение двух продуктов что-то значит только на одинаковом звуке, языке, задаче и правилах подсчёта. Громкое имя или маркетинговое обещание скорости такое сравнение не заменяют.
Насколько диктовка быстрее набора?
Вот что нашли рецензируемые исследования:

| Способ ввода | Средняя скорость | Исследование |
|---|---|---|
| Физическая клавиатура | 52 слова в минуту | Dhakal и др., CHI 2018, 168 000 добровольцев |
| Экранная клавиатура телефона | 36,2 слова в минуту | Palin и др., MobileHCI 2019, 37 370 добровольцев |
| Голос на телефоне (английский) | 153 слова в минуту | Ruan и др., 2017, короткие сообщения в лаборатории |
| Клавиатура телефона в том же исследовании | 52 слова в минуту | Ruan и др., 2017 |
В стэнфордском исследовании Руан и коллег голос оказался в 2,93 раза быстрее клавиатуры телефона на английском и в 2,87 раза — на китайском (путунхуа). Людям пришлось исправлять меньше ошибок по ходу (доля исправленных ошибок 5,3% против 11,2% на английском), хотя в итоговом голосовом тексте осталось чуть больше ошибок (1,3% против 0,8%). Исследования проводились на разных задачах и людях, поэтому воспринимайте сравнение как общую картину, а не точное соотношение. В реальной работе время уходит ещё на обдумывание и проверку, так что повседневный выигрыш меньше лабораторного, но для длинных сообщений всё равно большой.
Что ухудшает результат
- Шум и эхо: голоса на фоне, дальний микрофон, большие помещения (см. шумоподавление и детектор голоса).
- Несколько говорящих одновременно.
- Перегруженный звук: если говорить так близко или громко, что сигнал искажается.
- Незнакомые имена и жаргон, которые модель видела редко (см. как контекст помогает распознаванию).
- Смена языка посреди фразы, с которой некоторые системы справляются плохо.
У скорости тоже есть цена
Общее время ожидания складывается из нескольких частей: конец записи, отправка, распознавание, необязательная обработка и вставка текста. Потоковым системам ещё приходится решать, как рано фиксировать слова, — это компромисс между ранним текстом и последующими исправлениями. В SayVelio выбирать помогают режимы диктовки: «Быстро» вставляет распознанный текст без обработки, «Сбалансированно» и «Качественно» добавляют обработку для более аккуратного текста.
Что всегда проверять перед отправкой
Для важного текста последний проверяющий — вы. Смотрите дважды на:
- числа и суммы, включая валюту и дроби;
- имена людей, компаний и продуктов;
- отрицания: «не», «нет», «никогда»;
- даты и время;
- медицинские, юридические и финансовые указания;
- всё, что могла переформулировать обработка.
Удобное исправление делает диктовку полезной, даже когда она неидеальна, но удобство — не доказательство того, что ошибки не было.
Источники
- Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Обзор Кембриджского университета
- Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Страница проекта
- Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323
Частые вопросы
Какой WER считается хорошим?
Зависит от звука и задачи. Чёткая диктовка в тихой комнате с современной моделью часто даёт WER в несколько процентов, а шумные записи с несколькими говорящими — гораздо больше. Сравнивайте системы только на одном и том же звуке и по одним правилам.
Может ли WER быть больше 100%?
Да. Вставки тоже считаются, поэтому система, которая добавляет много несказанных слов, может наделать ошибок больше, чем было слов.


