Как устроен голосовой ввод

Что такое голосовой ввод: путь от голоса до текста на экране

Голосовой ввод, транскрибация и голосовое управление — три разные вещи. Что на самом деле делает диктовка, какие этапы проходит звук от микрофона до курсора и где каждый из них может работать.

MacWindowsiPhoneAndroid

Коротко

Голосовой ввод превращает сказанное в редактируемый текст прямо в поле, где стоит курсор. По дороге звук записывается и оцифровывается, модель распознавания речи подбирает наиболее вероятные слова, а необязательный этап обработки расставляет знаки препинания и убирает слова-паразиты. Каждый этап может работать на устройстве или на удалённом сервисе, и каждый по-своему влияет на точность, скорость и приватность.

Заметки

Вы сказали

напомни мне позвонить в банк в понедельник э-э и спросить про лимит по карте

SayVelio напечатал

Напомни мне позвонить в банк в понедельник и спросить про лимит по карте.

Три вещи, которые называют «голос в текст»

Одной фразой называют три разные задачи, и их полезно различать:

  • Диктовка (голосовой ввод) вставляет в приложение текст, который можно править: письмо, сообщение, документ. Вы говорите вместо того, чтобы печатать, и результат остаётся под вашим контролем.
  • Транскрибация делает текстовую запись уже прозвучавшей речи: встречи, интервью, лекции. Никакой курсор её не ждёт.
  • Голосовое управление использует распознанную речь, чтобы что-то сделать: открыть приложение, отправить сообщение, поставить таймер. Слова здесь команда, а не текст.

Все три используют распознавание речи, но наличие одного не означает, что в продукте есть остальные. SayVelio — инструмент для диктовки: он записывает то, что вы говорите. Он не выполняет голосовые команды и не является чат-ботом, поэтому «напиши Анне, что я согласен» придёт ровно этими словами. Как формулировать, чтобы получался нужный текст, рассказано в гайде о том, как хорошо диктовать.

Путь от микрофона до курсора

Каждая диктовка проходит примерно одну и ту же цепочку. Некоторые системы объединяют шаги, показывают слова прямо во время речи или пропускают необязательные этапы, но порядок движения информации один и тот же:

  1. Запись. Микрофон превращает колебания давления воздуха в электрический сигнал, а устройство — в числа. Подробнее: как микрофон записывает речь.
  2. Подготовка. Звук могут выровнять по громкости, очистить от эха или шума и разрезать на части. Подробнее: шумоподавление и детектор голоса.
  3. Распознавание. Модель оценивает, какие слова были сказаны. Подробнее: как работает распознавание речи.
  4. Обработка (по желанию). Добавляются знаки препинания, заглавные буквы, цифры и абзацы, убираются слова-паразиты. Подробнее: от расшифровки к тексту.
  5. Проверка и вставка. Текст появляется у курсора, где его можно прочитать и исправить. Подробнее: каким должен быть интерфейс диктовки.
Путь диктовки: микрофон, цифровой звук, распознавание речи, обработка по желанию, текст в вашем приложении
От голоса к тексту: запись, распознавание, обработка по желанию, вставка

Результат — лучшая догадка, а не запись ваших намерений

Распознавание статистично. Система выбирает последовательность слов, которая лучше всего подходит к звуку и к тому, чему она научилась на миллионах примеров. Поэтому текст может читаться гладко и при этом отличаться от сказанного, особенно в именах, числах и редких терминах. Именно поэтому хорошие инструменты диктовки позволяют научить их вашим словам (словарь) и делают текст удобным для проверки и правки.

Где работает каждый этап

Каждый шаг может выполняться на устройстве, на удалённом сервисе или частично там и там:

  • На удалённом сервисе запись по зашифрованному соединению уходит провайдеру распознавания речи, а он возвращает текст. Так работают самые большие и точные модели.
  • На устройстве распознаёт модель, скачанная на компьютер или телефон: ничего не покидает устройство, и всё работает без интернета. Локальные модели обычно меньше и на старом железе медленнее.

В SayVelio запись идёт напрямую с вашего устройства к провайдеру распознавания речи, а если обработка включена, расшифровка уходит провайдеру языковой модели; наши серверы никогда не получают ваши записи и тексты. Ещё можно скачать необязательную офлайн-модель на Mac, Windows, iPhone и Android и диктовать вообще без связи (офлайн-диктовки проходят без обработки). Подробности — в статье о приватности голосового ввода.

От чего зависит качество результата

Точность, скорость и приватность зависят от разных звеньев цепочки:

  • Точность зависит в основном от микрофона, помещения и модели распознавания, плюс от подсказок вроде словаря.
  • Оформление зависит от этапа обработки: как пишутся числа, списки и знаки препинания.
  • Скорость зависит от длины записи, сети и того, работает ли обработка. Режимы диктовки позволяют обменять часть «шлифовки» на скорость.
  • Приватность зависит от того, кто получает звук и текст и что каждый из них хранит.

Частые вопросы

Может ли голосовой ввод работать полностью офлайн?

Да, если модель распознавания работает на самом устройстве. Многие приложения зависят от сетевого сервиса, поэтому то, что запись идёт без интернета, ещё не значит, что приложение распознает её без интернета. В SayVelio есть необязательная офлайн-модель на всех четырёх платформах.

Голосовой ввод — это то же самое, что голосовой ассистент?

Нет. Голосовой ассистент воспринимает сказанное как просьбу и выполняет её. Голосовой ввод записывает ваши слова, чтобы вы сами их отредактировали и отправили.