音声入力のしくみ

声を認識に備える:ノイズ抑制、エコー対策、音声検出

音声認識の前に音声に何が起きるのか。自動ゲイン調整、ノイズ抑制、エコーキャンセル、音声区間検出、スペクトログラム、そして「きれいな音ほど良い」とは限らない理由を解説します。

MacWindowsiPhoneAndroid

要点

認識の前に、音声は音量をそろえられ、エコーや雑音を減らされ、声のある部分だけに切り出されることがあります。どの処理にも決まった役割があり、どれも言葉を理解しておらず、どれも必須ではありません。ノイズ抑制が強すぎると、言葉を聞き分けるための弱い子音まで消してしまい、かえって悪くなることもあります。

Gmail

話した内容

鈴木さん 請求書を添付します 数字が合っているか確認してもらえますか

SayVelio の入力結果

鈴木さん

請求書を添付します。数字が合っているか確認してもらえますか?

信号処理は音声認識ではない

信号処理が扱うのは音であって、言葉ではありません。声を大きく、小さく、はっきりさせたり、どこで始まりどこで終わるかを決めたりはできますが、何と言ったかは決めません。それは音声認識のしくみで説明している認識モデルの仕事です。

アプリがどの処理を使うかは状況によります。通話では相手の声が自分のスピーカーから出るので、エコーキャンセルが必要です。何も再生していない音声入力アプリなら、まったく必要ないかもしれません。

4 つの道具、4 つの役割

道具することできないこと
自動ゲイン調整録音レベルを上げ下げするうまく録れていない声を取り戻す
ノイズ抑制換気扇や車の音のような一定の雑音を弱める同時に話す 2 人を分ける
エコーキャンセルスピーカーの音がマイクに戻ってきた分を取り除く何も鳴っていないときに役立つ
音声区間検出どの瞬間に声があるかを推定する何と言ったかを知る

エコーキャンセル は最も的が絞られた処理です。端末が何を再生しているかを参照用のコピーで正確に知っていて、マイクがもう一度拾った分を差し引きます。一方、ノイズ抑制は何が雑音かを推測するしかありません。

音声区間検出:話している部分を見つける

音声区間検出(VAD)は、多くは 10〜30 ミリ秒ほどの短い音の断片を調べ、それぞれに声が含まれる確率を推定します。いちばん単純な方式は音量だけを見ますが、ドアが閉まる音はしきい値を超え、小さな声は下回ることがあります。より良い検出器は断片ごとに声の確率を推定し、近い発話区間をつなぎ、言葉にしては短すぎるものを捨てます。

発話区間が強調され、無音と雑音が薄く表示された波形
音声検出が示すのは、どこで話しているかであって、何を話しているかではない

検出は、無音を飛ばしたり、話し終わったことを判断したりするのに使われます。SayVelio のような「押している間だけ話す」方式では、録音の始まりと終わりを決めるのはあなたです。録音は音声入力キーを押している間だけ続きます。

きれいな音ほど良いとは限らない理由

雑音を減らせば減らすほど良さそうに思えますが、そうとは限りません。「s」「f」「t」「h」のような子音は弱く、雑音に似た音なので、強いノイズ抑制は背景と一緒にそれを細らせてしまいます。人の耳にはきれいに聞こえても、認識には「しち」と「いち」を聞き分ける手がかりが残っていない、ということになります。

最近のモデルは、雑音の多い実際の話し声を大量に使って学習しています。そのため、強く加工した音より元の音のほうがうまく扱えることがよくあります。良い処理は控えめで、耳で聞くだけでなく実際の音声入力で試されています。

スペクトログラム:機械は音をどう見るか

多くの認識システムは、波形をそのまま使いません。短い窓(ふつう 20〜30 ミリ秒)を音声の上でずらしながら、それぞれにどの周波数が含まれるかを測ります。その結果が スペクトログラム で、横軸が時間、縦軸が音の高さ、明るさがエネルギーを表す画像です。

スペクトログラム:時間は左から右、周波数は下から上へ。明るいほど強い
スペクトログラムは各周波数のエネルギーが時間とともにどう変わるかを示す

スペクトログラムは文字起こしではありません。モデルが話し声の音と結びつけることを学ぶ、音のパターンを示しています。窓の長さはトレードオフで、短い窓はタイミングを、長い窓は音の高さをよく表します。最近のモデルの中には、この段階を省いてサンプルから直接学ぶものもあります。

あなたにできること

  • できるだけ静かな場所で話しましょう。 良い処理でも、隣で話す同僚の声は消せません。その人の声も声だからです。
  • 音声入力中は音楽や動画の音量を下げましょう。
  • マイクとの距離を一定に保ちましょう。 レベルが安定します。ほかのコツは上手な音声入力のコツで紹介しています。

よくある質問

音質が良いほど、文章も必ず良くなりますか?

必ずではありません。いちばん役立つのは、適度な音量のはっきりした声です。強いノイズ抑制、音割れ、合わない音声形式は認識に必要な細部を奪うことがあり、モデルの学習内容、言語、語彙も影響します。

騒がしいカフェでも音声入力できますか?

多くの場合できます。特に口元に近いヘッドセットのマイクなら有利です。コーヒーマシンのような一定の雑音は、近くの別の人の声より扱いやすいものです。