Как устроен голосовой ввод

От звуковой волны к цифровому звуку: что записывает микрофон при диктовке

Как микрофон и устройство превращают речь в числа: частота дискретизации, разрядность, моно, передискретизация и почему расположение микрофона важнее характеристик.

MacWindowsiPhoneAndroid

Коротко

Голос — это волна давления. Микрофон превращает её в электрический сигнал, а преобразователь измеряет этот сигнал тысячи раз в секунду. Для речи классический формат — 16 000 измерений в секунду по 16 бит. Большие цифры не гарантируют лучшего распознавания: чёткий голос рядом с микрофоном значит гораздо больше, чем характеристики.

Slack

Вы сказали

опаздываю минут на десять начинайте без меня

SayVelio напечатал

Опаздываю минут на 10, начинайте без меня.

Звук начинается с движения воздуха

Когда вы говорите, голосовые связки, язык и губы создают в воздухе крошечные быстрые перепады давления. У микрофона есть тонкая мембрана, которая движется вместе с ними и превращает движение в меняющееся напряжение — аналоговую волну, повторяющую ваш голос.

Компьютер не может хранить непрерывную волну, поэтому аналого-цифровой преобразователь (обычно встроенный в ноутбук, телефон или гарнитуру) измеряет её через равные промежутки времени. Каждое измерение — это отсчёт, который хранится как число.

Звуковая волна, измеренная через равные промежутки: каждая точка — один отсчёт
Дискретизация: плавная волна голоса превращается в ряд измеренных точек

Частота дискретизации: как часто измеряется сигнал

Частота дискретизации — это число измерений в секунду. 16 000 Гц (16 кГц) означает 16 000 отсчётов каждую секунду; 48 кГц — 48 000.

Частота дискретизации задаёт самую высокую частоту, которую может удержать запись: примерно половину от неё. Запись в 16 кГц сохраняет звуки до 8 кГц, и этого хватает для понимания речи. Классический телефонный звук сохраняет только частоты примерно до 3,4 кГц — вот почему по телефону так легко спутать «с» и «ф».

Разрядность: насколько точно хранится каждый отсчёт

Разрядность (битовая глубина) — сколько разных значений может принимать отсчёт. У 16-битного звука 65 536 возможных уровней. Это точность измерения и ничего больше: речевая модель не различает от этого 65 536 разных звуков.

Запись для диктовки обычно моно: один канал, один отсчёт на каждый момент. Стерео добавляет второй канал, который распознаванию почти не помогает.

Сколько данных в нескольких секундах речи

Арифметика простая: 16 000 отсчётов × 16 бит = 256 000 бит в секунду моно-звука, то есть 32 КБ в секунду без заголовков файла. 30-секундная диктовка без сжатия — около 1 МБ. Для современной связи это немного, но когда приложение отправляет много записей, объём растёт, поэтому некоторые приложения сначала сжимают звук (см. сжатие звука для речи).

Передискретизация — не просто смена цифры

Многие микрофоны пишут в 48 кГц, а многие модели распознавания ждут 16 кГц. Перевести одно в другое — не значит просто переподписать файл: сначала звук надо отфильтровать от частот, которые низкая частота дискретизации не удержит, иначе они «завернутся» обратно в запись в виде искажений (это называется алиасингом). Операционная система и аудиобиблиотеки делают это за вас, но это ещё одна причина не конвертировать звук туда-обратно.

Важнее всего микрофон и помещение

Всё это происходит до распознавания, и никакая программа не восстановит слова, которые микрофон не записал чётко. На практике:

  • Главное — расстояние. Гарнитура или встроенный микрофон ноутбука прямо перед вами лучше веб-камеры через всю комнату. Дальний микрофон ловит больше эха.
  • Слишком близко — хлопки. Если говорить прямо в микрофон, на «п» и «б» появляются выбросы воздуха.
  • Проверьте, какой вход выбран. При подключении наушников компьютер может переключить микрофон. На Mac это «Системные настройки» → «Звук» → «Вход», в Windows — «Параметры» → «Система» → «Звук».
  • Дайте приложению доступ к микрофону. Без него приложение получает тишину.

Совет

Если диктовка вдруг стала хуже, сначала проверьте устройство ввода. Переключение на микрофон Bluetooth-гарнитуры часто снижает качество: многие гарнитуры, пока работает микрофон, переходят в узкий «телефонный» режим звука.

Частые вопросы

Даёт ли более высокая частота дискретизации лучшую диктовку?

Не обязательно. Большинство моделей распознавания внутри работают с 16 кГц, так что запись в 48 кГц всё равно будет понижена. Чёткий голос и правильное положение микрофона важнее.

Нужен ли внешний микрофон?

Обычно нет. Встроенных микрофонов современных ноутбуков и телефонов достаточно для диктовки в тихой комнате. Гарнитура помогает в опенспейсе и в шумных местах.