Как устроен голосовой ввод

Как распознавание речи превращает звук в слова

Почему речь трудна для компьютера, как работали классические распознаватели с акустической, произносительной и языковой моделями, что изменили сквозные модели (CTC, кодер-декодер, трансдьюсеры) и почему текст при потоковом распознавании меняется на ходу.

MacWindowsiPhoneAndroid

Коротко

В речи нет чётких пауз между словами, и все произносят их по-разному, поэтому распознаватель никогда не «считывает» слова со звука. Он оценивает наиболее вероятную последовательность слов по звуку и по закономерностям, выученным на обучающих данных. Старые системы состояли из отдельных акустической, произносительной и языковой моделей; большинство современных проходят весь путь от звука до текста в одной нейросети.

Сообщения

Вы сказали

мы встретимся у моста или у мостика где кафе

SayVelio напечатал

Мы встретимся у моста или у мостика, где кафе?

Почему распознавать речь трудно

В письменном тексте между словами есть пробелы. В речи их нет. Звуки сливаются: «у моста» и «умоста» звучат одинаково, а «в Ольгу» и «вольгу» — почти одинаково. Звуки меняются в зависимости от соседей, люди говорят с разной скоростью и высотой голоса, а акцент меняет каждую гласную.

Поэтому один и тот же кусок звука может подходить к нескольким вариантам слов. Распознаватель не расшифровывает слова с уверенностью: он взвешивает варианты и выбирает самый вероятный. Поэтому результат может читаться гладко и всё равно быть неверным.

Классический подход: три модели и декодер

Десятилетиями распознавание речи собирали из отдельных частей:

  • Акустическая модель связывала короткие кусочки звука со звуками речи (фонемами).
  • Словарь произношений описывал, как каждое слово может звучать в виде цепочки таких звуков.
  • Языковая модель оценивала, насколько вероятна последовательность слов в языке («встретимся у моста» гораздо вероятнее, чем «встретимся умоста»).
  • Декодер перебирал комбинации и искал лучшее общее совпадение.

Эта схема по-прежнему лучше всего объясняет задачу, и некоторые системы используют её части. Но большинство современных распознавателей устроены иначе.

Классические распознаватели сочетают акустическую, произносительную и языковую модели; сквозные модели проходят весь путь в одной сети
Два способа построить распознаватель: отдельные модели с декодером или одна сквозная нейросеть

Сквозные модели: одна сеть от звука до текста

Современные системы учатся напрямую переводить звук в текст в одной нейросети, обученной на огромном количестве расшифрованной речи. Есть три распространённых семейства:

  • CTC (connectionist temporal classification) предсказывает символ или кусочек слова для каждого короткого кадра звука, включая специальный «пустой» символ, затем склеивает повторы и убирает пустые. Ей не нужно, чтобы кто-то размечал, где в обучающей записи начинается каждое слово.
  • Кодер-декодер с механизмом внимания сначала превращает всю запись во внутреннее представление, а потом пишет текст кусочек за кусочком, «оглядываясь» на нужные места звука для каждого следующего кусочка.
  • Трансдьюсеры (RNN-T и похожие) сочетают кодер звука с компонентом, который помнит уже написанный текст. Поэтому они хорошо подходят, чтобы выдавать текст, пока вы ещё говорите.

Реальные продукты смешивают эти идеи, а некоторые добавляют дополнительные шаги, например подсказки для редких слов (см. как контекст помогает распознаванию). По приложению с диктовкой не видно, какая архитектура внутри, и вам это не нужно: важны точность, скорость и то, что происходит с вашими данными.

Вся запись целиком или потоком

Распознавание может работать по готовой записи, когда вы закончили, или непрерывно, пока вы говорите:

  • Потоковое распознавание показывает слова почти сразу, но ранние догадки могут меняться, когда следующие слова добавляют контекст. «Удобно ли» может на мгновение появиться как «у Добнали» и тут же исправиться.
  • Распознавание целой записи ждёт, пока вы закончите, но видит всю фразу сразу, что часто помогает точности и пунктуации.

Задержка, которую вы замечаете, включает ещё определение конца речи, время сети и этап обработки, если он есть. В SayVelio вы держите клавишу, пока говорите, поэтому конец записи точный, а текст вставляется, когда он окончательный, а не по слову.

Почему результат — вероятность, а не факт

Система всегда выбирает самый вероятный вариант, поэтому её ошибки выглядят правдоподобно: настоящее, правильно написанное слово, которое вы не говорили. Больше всего рискуют имена, числа и редкие термины, потому что модель видела их реже. Две практические защиты:

  1. Научите систему своим словам с помощью личного словаря.
  2. Перечитывайте важный текст перед отправкой, особенно суммы, даты и «не».

Частые вопросы

Понимает ли распознавание речи, что я имею в виду?

Не в человеческом смысле. Оно оценивает, какие слова были сказаны. Смысл участвует только через закономерности, выученные из текстов, и помогает выбирать между похоже звучащими фразами.

Почему диктовка каждый раз ошибается в одном и том же слове?

Обычно потому, что слово редкое или похоже на более частое. Добавьте его в словарь вместе с вариантом того, как оно звучит, — это исправляет большинство таких случаев.