Форматы и сжатие звука в голосовом вводе
Цифровой звук, кодирование и сжатие — три разные вещи. Как работает сжатие без потерь и с потерями, почему ни один алгоритм не может уменьшить любой файл, как речевые кодеки вроде Opus балансируют между размером и задержкой и что это значит для диктовки.
Коротко
Несжатый речевой звук — около 32 КБ в секунду. Сжатие делает его меньше: без потерь сохраняется каждый бит, с потерями выбрасываются детали, которые человек вряд ли услышит. Речевые кодеки вроде Opus очень эффективны, но слишком сильное сжатие может убрать звуки, нужные распознаванию. Сжатие — про то, как перемещать звук; к пониманию слов оно отношения не имеет.
Вы сказали
запись слишком большая для почты так что я скину ссылку
SayVelio напечатал
Запись слишком большая для почты, так что я скину ссылку.
Три слова, которые часто путают
- Цифровой звук — звук в виде чисел: отсчёты, снятые много раз в секунду (см. как микрофон записывает речь).
- Кодирование — запись этой информации в определённом формате с договорёнными правилами, как её прочитать.
- Сжатие — кодирование, которое использует меньше бит, чем простое представление.
Несжатый звук, обычно называемый PCM, хранит каждый отсчёт напрямую. Файл WAV — обычно PCM с небольшим заголовком. Сжатые форматы описывают тот же звук меньшим объёмом данных по своим правилам.
Без потерь и с потерями
Сжатие без потерь, как во FLAC, позволяет восстановить исходные отсчёты в точности. Оно находит структуру: соседние отсчёты речи похожи, поэтому выгоднее хранить предсказание и небольшую поправку, чем каждый отсчёт целиком. Для звука экономия обычно скромная, часто около половины.
Сжатие с потерями, как в MP3, AAC или Opus, намеренно выбрасывает информацию, которую слушатель вряд ли заметит, и сохраняет остальное. Экономия гораздо больше, часто в десять раз и выше, но оригинал уже не восстановить.
Почему нельзя сжать всё
Есть жёсткий математический предел: ни один метод без потерь не может уменьшить любой возможный файл. Если бы мог, выход можно было бы сжимать снова и снова, пока каждый файл не стал бы одним битом, — и тогда двум разным файлам пришлось бы иметь одинаковую сжатую форму. Сжатие работает только там, где в данных есть закономерности. Случайные на вид или уже сжатые данные почти не уменьшаются. Поэтому архивация MP3 почти ничего не даёт.

Речевые кодеки: созданы для голоса
У голоса есть структура, о которой универсальное сжатие не знает: речевой тракт формирует звук предсказуемо. Речевые кодеки это используют. Opus — открытый кодек, стандартизированный IETF в 2012 году и используемый во многих приложениях для звонков и браузерах, — сочетает два подхода:
- SILK на основе линейного предсказания моделирует, как речевой тракт формирует звук. Очень эффективен для речи.
- CELT на основе частотного преобразования (MDCT) хорошо справляется с музыкой и широкополосным звуком.
- Гибридный режим использует оба для разных диапазонов частот.
Opus работает на битрейтах от 6 до 510 кбит/с — для сравнения, у несжатой речи в 16 кГц это 256 кбит/с.
Размер, качество и задержка тянут в разные стороны
Для звука в реальном времени сжатие — это баланс трёх вещей:
| Если выбрать | Выигрыш | Цена |
|---|---|---|
| Меньший битрейт | Меньше данных, работает на слабой сети | Теряются детали, особенно согласные |
| Длинные кадры (до 60 мс в Opus) | Меньше служебных данных в секунду | Больше задержка; потерянный пакет уносит больше речи |
| Короткие кадры (от 2,5 мс) | Меньше задержка | Больше служебных данных в секунду |
Звонку прежде всего нужна низкая задержка. Диктовке, которую распознают после того, как вы договорили, важнее сохранить детали, нужные распознаванию: от них зависит, получится «пятнадцать» или «пятьдесят».
Что это значит для диктовки
Сжатие — решение о передаче, а не часть распознавания. Распознаватель может получать несжатый PCM, сжатый поток или другой поддерживаемый формат, и никакое приложение для диктовки не обязано использовать определённый кодек. Что важно для вас:
- Умеренное сжатие — нормально. Современные речевые модели без проблем справляются с хорошо закодированным звуком.
- Сильное сжатие стоит точности. Очень низкие битрейты размывают как раз тихие звуки, которые различают похожие слова.
- Bluetooth-гарнитуры тоже сжимают. Многие, пока работает микрофон, переходят в узкий режим с низким битрейтом, и это часто большая потеря, чем всё, что делает приложение.
Частые вопросы
Делает ли сжатие диктовку менее точной?
Лёгкое сжатие почти не влияет. Очень сильное сжатие или Bluetooth-гарнитура в режиме звонка низкого качества могут убрать детали и затруднить различение похожих слов.
Сжатие — это то же самое, что шифрование?
Нет. Сжатие делает данные меньше, шифрование делает их нечитаемыми для того, у кого нет ключа. Запись может быть сжатой, зашифрованной, и тем и другим или ни тем ни другим. О шифровании — в статье о приватности голосового ввода.


