音声入力のしくみ

音声入力における音声形式と圧縮

デジタル音声、符号化、圧縮は別のものです。可逆圧縮と非可逆圧縮のしくみ、どんなアルゴリズムでもすべてのファイルは小さくできない理由、Opus のような音声コーデックがサイズと遅延をどう両立させるか、そして音声入力にとっての意味を解説します。

MacWindowsiPhoneAndroid

要点

圧縮していない音声は 1 秒あたり約 32 KB です。圧縮すると小さくなります。可逆圧縮はすべてのビットを保ち、非可逆圧縮は人が気づきにくい細部を捨てます。Opus のような音声コーデックはとても効率的ですが、圧縮しすぎると認識に必要な音まで消えてしまいます。圧縮は音声を運ぶための技術で、言葉を理解することとは関係ありません。

Teams

話した内容

録画が大きすぎてメールで送れないのでリンクで共有します

SayVelio の入力結果

録画が大きすぎてメールで送れないので、リンクで共有します。

よく混同される 3 つの言葉

  • デジタル音声 は、数値で表した音です。1 秒間に何度も取ったサンプルの集まりです(マイクが声を記録するしくみを参照)。
  • 符号化(エンコード) は、その情報を決まった形式で書き出すことで、読み戻すためのルールが決まっています。
  • 圧縮 は、そのままの表現より少ないビットで済む符号化です。

圧縮していない音声はふつう PCM と呼ばれ、各サンプルをそのまま保存します。WAV ファイルは多くの場合、小さなヘッダーの付いた PCM です。圧縮形式は、同じ音をより少ないデータで表すルールを使います。

可逆と非可逆

FLAC のような 可逆 圧縮では、元のサンプルを正確に復元できます。しくみは構造を見つけることです。話し声では隣り合うサンプルが似ているので、すべてのサンプルをそのまま保存するより、予測と小さな補正を保存するほうが安く済みます。音声での節約は控えめで、半分程度になることが多いです。

MP3、AAC、Opus のような 非可逆 圧縮は、聞く人が気づきにくい情報を意図的に捨て、残りを保ちます。節約はずっと大きく、10 分の 1 以下になることもよくありますが、元には戻せません。

すべてを圧縮できるものはない理由

厳密な数学的限界があります。どんな可逆の方法でも、あり得るすべてのファイルを小さくすることはできません。もしできるなら、結果を何度も圧縮し続けてどのファイルも 1 ビットにでき、そうなると違う 2 つのファイルが同じ圧縮形を共有することになってしまいます。圧縮は、データに利用できるパターンがあるときにだけ効きます。ランダムに見えるデータや、すでに圧縮されたデータはほとんど小さくなりません。MP3 を zip にしてもほとんど変わらないのはこのためです。

圧縮なしの音声と、可逆圧縮・非可逆圧縮の比較:段階ごとにデータが小さくなる
1 分間の話し声のおおよそのサイズ:圧縮なし、可逆圧縮、音声コーデック

音声コーデック:声のために作られたもの

声には、汎用の圧縮が知らない構造があります。声道が音を予測可能な形に整えるのです。音声コーデックはそれを利用します。2012 年に IETF で標準化され、多くの通話アプリやブラウザーで使われているオープンなコーデック Opus は、2 つの方式を組み合わせています。

  • SILK は線形予測に基づき、声道が音をどう形づくるかをモデル化します。話し声にとても効率的です。
  • CELT は周波数変換(MDCT)に基づき、音楽や広帯域の音を得意とします。
  • ハイブリッド モードは、周波数帯ごとに両方を使い分けます。

Opus は 6〜510 kbit/s のビットレートで動きます。圧縮なしの 16 kHz の話し声は 256 kbit/s です。

サイズ、品質、遅延は引っぱり合う

リアルタイムの音声では、圧縮は 3 つのバランスです。

選ぶもの得るもの払うもの
低いビットレートデータが少なく、弱い回線でも動く細部、特に子音が失われる
長いフレーム(Opus では最大 60 ms)1 秒あたりのオーバーヘッドが少ない遅延が増え、パケットが 1 つ失われると多くの音声が欠ける
短いフレーム(最短 2.5 ms)遅延が少ない1 秒あたりのオーバーヘッドが多い

通話では何より低い遅延が必要です。話し終えてから認識する音声入力では、認識に必要な細部を残すことのほうが大切です。「しち」が「いち」になるかどうかは、その細部で決まるからです。

音声入力にとっての意味

圧縮は運び方の選択であって、認識の一部ではありません。認識器は圧縮なしの PCM も、圧縮されたストリームも、ほかの対応形式も受け取れ、どの音声入力アプリも特定のコーデックを使う必要はありません。あなたにとって大切なのは次のことです。

  • 適度な圧縮は問題ありません。 最近の音声モデルは、きちんと符号化された音声を問題なく扱えます。
  • 強すぎる圧縮は精度を下げます。 とても低いビットレートは、似た言葉を分ける小さな音をまさにぼかしてしまいます。
  • Bluetooth ヘッドセットも圧縮します。 多くはマイクを使う間、狭く低ビットレートのモードに切り替わり、それがアプリの処理よりも大きな損失になることがよくあります。

よくある質問

圧縮すると音声入力の精度は下がりますか?

軽い圧縮ならほとんど影響しません。非常に強い圧縮や、低品質な通話モードの Bluetooth ヘッドセットでは細部が失われ、似た言葉の区別が難しくなることがあります。

圧縮と暗号化は同じですか?

いいえ。圧縮はデータを小さくし、暗号化は鍵を持たない人には読めなくします。録音は、圧縮されていることも、暗号化されていることも、両方のことも、どちらでもないこともあります。暗号化については音声入力のプライバシーで説明しています。