Как устроен голосовой ввод

Форматы и сжатие звука в голосовом вводе

Цифровой звук, кодирование и сжатие — три разные вещи. Как работает сжатие без потерь и с потерями, почему ни один алгоритм не может уменьшить любой файл, как речевые кодеки вроде Opus балансируют между размером и задержкой и что это значит для диктовки.

MacWindowsiPhoneAndroid

Коротко

Несжатый речевой звук — около 32 КБ в секунду. Сжатие делает его меньше: без потерь сохраняется каждый бит, с потерями выбрасываются детали, которые человек вряд ли услышит. Речевые кодеки вроде Opus очень эффективны, но слишком сильное сжатие может убрать звуки, нужные распознаванию. Сжатие — про то, как перемещать звук; к пониманию слов оно отношения не имеет.

Teams

Вы сказали

запись слишком большая для почты так что я скину ссылку

SayVelio напечатал

Запись слишком большая для почты, так что я скину ссылку.

Три слова, которые часто путают

  • Цифровой звук — звук в виде чисел: отсчёты, снятые много раз в секунду (см. как микрофон записывает речь).
  • Кодирование — запись этой информации в определённом формате с договорёнными правилами, как её прочитать.
  • Сжатие — кодирование, которое использует меньше бит, чем простое представление.

Несжатый звук, обычно называемый PCM, хранит каждый отсчёт напрямую. Файл WAV — обычно PCM с небольшим заголовком. Сжатые форматы описывают тот же звук меньшим объёмом данных по своим правилам.

Без потерь и с потерями

Сжатие без потерь, как во FLAC, позволяет восстановить исходные отсчёты в точности. Оно находит структуру: соседние отсчёты речи похожи, поэтому выгоднее хранить предсказание и небольшую поправку, чем каждый отсчёт целиком. Для звука экономия обычно скромная, часто около половины.

Сжатие с потерями, как в MP3, AAC или Opus, намеренно выбрасывает информацию, которую слушатель вряд ли заметит, и сохраняет остальное. Экономия гораздо больше, часто в десять раз и выше, но оригинал уже не восстановить.

Почему нельзя сжать всё

Есть жёсткий математический предел: ни один метод без потерь не может уменьшить любой возможный файл. Если бы мог, выход можно было бы сжимать снова и снова, пока каждый файл не стал бы одним битом, — и тогда двум разным файлам пришлось бы иметь одинаковую сжатую форму. Сжатие работает только там, где в данных есть закономерности. Случайные на вид или уже сжатые данные почти не уменьшаются. Поэтому архивация MP3 почти ничего не даёт.

Несжатая речь в сравнении со сжатием без потерь и с потерями: каждый шаг уменьшает объём данных
Примерный размер одной минуты речи: без сжатия, без потерь и речевым кодеком

Речевые кодеки: созданы для голоса

У голоса есть структура, о которой универсальное сжатие не знает: речевой тракт формирует звук предсказуемо. Речевые кодеки это используют. Opus — открытый кодек, стандартизированный IETF в 2012 году и используемый во многих приложениях для звонков и браузерах, — сочетает два подхода:

  • SILK на основе линейного предсказания моделирует, как речевой тракт формирует звук. Очень эффективен для речи.
  • CELT на основе частотного преобразования (MDCT) хорошо справляется с музыкой и широкополосным звуком.
  • Гибридный режим использует оба для разных диапазонов частот.

Opus работает на битрейтах от 6 до 510 кбит/с — для сравнения, у несжатой речи в 16 кГц это 256 кбит/с.

Размер, качество и задержка тянут в разные стороны

Для звука в реальном времени сжатие — это баланс трёх вещей:

Если выбратьВыигрышЦена
Меньший битрейтМеньше данных, работает на слабой сетиТеряются детали, особенно согласные
Длинные кадры (до 60 мс в Opus)Меньше служебных данных в секундуБольше задержка; потерянный пакет уносит больше речи
Короткие кадры (от 2,5 мс)Меньше задержкаБольше служебных данных в секунду

Звонку прежде всего нужна низкая задержка. Диктовке, которую распознают после того, как вы договорили, важнее сохранить детали, нужные распознаванию: от них зависит, получится «пятнадцать» или «пятьдесят».

Что это значит для диктовки

Сжатие — решение о передаче, а не часть распознавания. Распознаватель может получать несжатый PCM, сжатый поток или другой поддерживаемый формат, и никакое приложение для диктовки не обязано использовать определённый кодек. Что важно для вас:

  • Умеренное сжатие — нормально. Современные речевые модели без проблем справляются с хорошо закодированным звуком.
  • Сильное сжатие стоит точности. Очень низкие битрейты размывают как раз тихие звуки, которые различают похожие слова.
  • Bluetooth-гарнитуры тоже сжимают. Многие, пока работает микрофон, переходят в узкий режим с низким битрейтом, и это часто большая потеря, чем всё, что делает приложение.

Частые вопросы

Делает ли сжатие диктовку менее точной?

Лёгкое сжатие почти не влияет. Очень сильное сжатие или Bluetooth-гарнитура в режиме звонка низкого качества могут убрать детали и затруднить различение похожих слов.

Сжатие — это то же самое, что шифрование?

Нет. Сжатие делает данные меньше, шифрование делает их нечитаемыми для того, у кого нет ключа. Запись может быть сжатой, зашифрованной, и тем и другим или ни тем ни другим. О шифровании — в статье о приватности голосового ввода.