Как устроен голосовой ввод

Насколько точен голосовой ввод? Доля ошибок в словах, скорость и реальные ограничения

Как измеряют точность распознавания речи (WER), что говорят исследования о скорости диктовки по сравнению с набором, что ухудшает результат и какие слова всегда стоит перепроверять.

MacWindowsiPhoneAndroid

Коротко

Точность обычно измеряют долей ошибок в словах (WER): заменённые, пропущенные и вставленные слова, делённые на число реально сказанных. Мера полезная, но узкая: она не учитывает пунктуацию, оформление и смысл. Исследования показывают, что говорить примерно в три раза быстрее, чем печатать на телефоне. Ошибки скапливаются вокруг имён, чисел и шума — эти слова и стоит проверять перед отправкой.

Gmail

Вы сказали

пожалуйста переведите поставщику полторы тысячи а не пять тысяч

SayVelio напечатал

Пожалуйста, переведите поставщику 1 500, а не 5 000.

Три вида ошибок

Ошибаясь, распознаватель делает одно из трёх:

  • Замена: слово заменено другим («пятнадцать» → «пятьдесят»).
  • Пропуск: слово исчезло («не» пропало).
  • Вставка: появилось слово, которого не говорили.

Доля ошибок в словах (WER)

Стандартная мера считает эти три вида относительно правильной эталонной расшифровки:

WER = (замены + пропуски + вставки) ÷ число слов в эталоне

Пример. В эталоне 10 слов: «пожалуйста отправь итоговый отчёт Марии до утра пятницы без опозданий». Система пишет «пожалуйста отправь итоговый отсчёт Марине до утра пятницы без опозданий»: 2 замены, 0 пропусков, 0 вставок. WER = 2 ÷ 10 = 20%.

Доля ошибок в словах считает заменённые, пропущенные и вставленные слова относительно сказанных
Доля ошибок в словах: (S + D + I) ÷ N

Чего WER не говорит

WER — хорошая инженерная мера и плохое резюме пользовательского опыта:

  • Все слова весят одинаково. Пропущенное «и» и пропущенное «не» стоят по одной ошибке, хотя смысл переворачивает только одно.
  • Зависит от правил подсчёта. «5» и «пять» — ошибка? «ок» и «окей»? Результат меняется в зависимости от того, как нормализуют текст перед сравнением.
  • Не учитывает пунктуацию и оформление — то, чем занимается этап обработки.
  • Привязана к своему тестовому набору. Низкий WER на чистой начитанной речи мало что говорит о вашем акценте, микрофоне или словаре вашей отрасли.

Поэтому сравнение двух продуктов что-то значит только на одинаковом звуке, языке, задаче и правилах подсчёта. Громкое имя или маркетинговое обещание скорости такое сравнение не заменяют.

Насколько диктовка быстрее набора?

Вот что нашли рецензируемые исследования:

Средняя скорость ввода в словах в минуту: физическая клавиатура 52, клавиатура телефона 36, голос на телефоне 153
Слов в минуту в трёх исследованиях: говорить примерно в три раза быстрее, чем печатать
Способ вводаСредняя скоростьИсследование
Физическая клавиатура52 слова в минутуDhakal и др., CHI 2018, 168 000 добровольцев
Экранная клавиатура телефона36,2 слова в минутуPalin и др., MobileHCI 2019, 37 370 добровольцев
Голос на телефоне (английский)153 слова в минутуRuan и др., 2017, короткие сообщения в лаборатории
Клавиатура телефона в том же исследовании52 слова в минутуRuan и др., 2017

В стэнфордском исследовании Руан и коллег голос оказался в 2,93 раза быстрее клавиатуры телефона на английском и в 2,87 раза — на китайском (путунхуа). Людям пришлось исправлять меньше ошибок по ходу (доля исправленных ошибок 5,3% против 11,2% на английском), хотя в итоговом голосовом тексте осталось чуть больше ошибок (1,3% против 0,8%). Исследования проводились на разных задачах и людях, поэтому воспринимайте сравнение как общую картину, а не точное соотношение. В реальной работе время уходит ещё на обдумывание и проверку, так что повседневный выигрыш меньше лабораторного, но для длинных сообщений всё равно большой.

Что ухудшает результат

  • Шум и эхо: голоса на фоне, дальний микрофон, большие помещения (см. шумоподавление и детектор голоса).
  • Несколько говорящих одновременно.
  • Перегруженный звук: если говорить так близко или громко, что сигнал искажается.
  • Незнакомые имена и жаргон, которые модель видела редко (см. как контекст помогает распознаванию).
  • Смена языка посреди фразы, с которой некоторые системы справляются плохо.

У скорости тоже есть цена

Общее время ожидания складывается из нескольких частей: конец записи, отправка, распознавание, необязательная обработка и вставка текста. Потоковым системам ещё приходится решать, как рано фиксировать слова, — это компромисс между ранним текстом и последующими исправлениями. В SayVelio выбирать помогают режимы диктовки: «Быстро» вставляет распознанный текст без обработки, «Сбалансированно» и «Качественно» добавляют обработку для более аккуратного текста.

Что всегда проверять перед отправкой

Для важного текста последний проверяющий — вы. Смотрите дважды на:

  • числа и суммы, включая валюту и дроби;
  • имена людей, компаний и продуктов;
  • отрицания: «не», «нет», «никогда»;
  • даты и время;
  • медицинские, юридические и финансовые указания;
  • всё, что могла переформулировать обработка.

Удобное исправление делает диктовку полезной, даже когда она неидеальна, но удобство — не доказательство того, что ошибки не было.

Источники

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. Обзор Кембриджского университета
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. Страница проекта
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

Частые вопросы

Какой WER считается хорошим?

Зависит от звука и задачи. Чёткая диктовка в тихой комнате с современной моделью часто даёт WER в несколько процентов, а шумные записи с несколькими говорящими — гораздо больше. Сравнивайте системы только на одном и том же звуке и по одним правилам.

Может ли WER быть больше 100%?

Да. Вставки тоже считаются, поэтому система, которая добавляет много несказанных слов, может наделать ошибок больше, чем было слов.