音声入力のしくみ

音声入力はどれくらい正確か:誤り率、速さ、本当の限界

音声認識の精度の測り方(単語誤り率)、音声入力とタイピングの速さについて研究が示していること、結果を悪くする要因、そして必ず確認すべき言葉を解説します。

MacWindowsiPhoneAndroid

要点

精度はふつう単語誤り率(WER)で測ります。置き換わった語、抜けた語、余計に入った語の数を、実際に話された語の数で割ったものです。便利ですが範囲は狭く、句読点、書式、意味は含まれません。研究では、スマートフォンでは話すほうが打つより約 3 倍速いことが示されています。間違いは名前、数字、雑音に集中します。送る前に確認すべきなのはそこです。

Gmail

話した内容

取引先の口座に五千ではなく千五百を振り込んでください

SayVelio の入力結果

取引先の口座に 5,000 ではなく、1,500 を振り込んでください。

3 種類の誤り

認識システムが間違えるとき、することは次の 3 つのどれかです。

  • 置換: ある語が別の語に置き換わる(「しち」→「いち」)。
  • 脱落: 語が消える(「ない」が抜ける)。
  • 挿入: 話していない語が現れる。

単語誤り率(WER)

標準的な指標は、正しい参照用の文字起こしと比べて、この 3 種類を数えます。

WER =(置換 + 脱落 + 挿入)÷ 参照の語数

例を挙げます。参照は 10 語で「最終 / 報告書 / を / 金曜 / の / 朝 / まで / に / 田中さん / へ」。システムは「最終 / 報告書 / を / 金曜 / の / 夜 / まで / に / 中田さん / へ」と書きました。置換 2、脱落 0、挿入 0 で、WER = 2 ÷ 10 = 20% です。日本語には単語の間に空白がないので、実際の評価では文字単位の誤り率(CER)もよく使われます。

誤り率は、話された語に対して置換・脱落・挿入された語を数える
単語誤り率:(S + D + I) ÷ N

WER が教えてくれないこと

WER は技術的には良い指標ですが、使い心地のまとめとしては不十分です。

  • どの語も同じ重さです。 「の」の脱落も「ない」の脱落も同じ 1 つの誤りですが、意味を逆にするのは片方だけです。
  • 数え方のルールしだいです。 「5」と「五」は誤りか。「OK」と「オーケー」は?比べる前の文字の正規化しだいで結果が変わります。
  • 句読点や書式は無視します。 つまり整形の仕事は含まれません。
  • テストに使ったデータに縛られます。 読み上げたきれいな音声での低い WER は、あなたのなまり、マイク、仕事の語彙についてはあまり教えてくれません。

ですから、2 つの製品を比べる意味があるのは、同じ音声、同じ言語、同じ作業、同じルールのときだけです。ブランド名や広告の速さの約束は、この比較の代わりにはなりません。

音声入力はタイピングより速いか

査読付きの研究では、次のような結果が出ています。

1 分あたりの平均単語数:物理キーボード 52、スマートフォンのキーボード 36、スマートフォンでの音声 153
3 つの研究での 1 分あたりの単語数:話すほうが打つより約 3 倍速い
方法平均の速さ研究
物理キーボード毎分 52 語Dhakal ほか、CHI 2018、168,000 人の参加者
スマートフォンのタッチキーボード毎分 36.2 語Palin ほか、MobileHCI 2019、37,370 人の参加者
スマートフォンでの音声(英語)毎分 153 語Ruan ほか、2017 年、実験室での短いメッセージ
同じ研究でのスマートフォンのキーボード毎分 52 語Ruan ほか、2017 年

Ruan らによるスタンフォード大学の研究では、音声はスマートフォンのキーボードより英語で 2.93 倍、標準中国語で 2.87 倍速い結果でした。参加者が途中で直す誤りは少なかった一方で(英語で、修正された誤りの率が 5.3% 対 11.2%)、最終的な音声入力の文章に残った誤りはやや多めでした(1.3% 対 0.8%)。これらの研究は作業も参加者も違うので、比較は正確な倍率ではなく、おおよその目安として受け取ってください。仕事では考えたり読み返したりする時間もあるので、日々の効果は実験室より小さくなりますが、長いメッセージでは今でも大きな差になります。

結果を悪くするもの

  • 雑音と反響: 周りの声、遠いマイク、広い部屋(ノイズ抑制と音声検出を参照)。
  • 複数の人 が同時に話す。
  • 音割れ: 近すぎる、または大きすぎる声で信号がひずむ。
  • 知らない名前や専門用語: モデルがほとんど見たことのない言葉(文脈が認識を助けるしくみを参照)。
  • 文の途中で 言語を切り替える。苦手なシステムもあります。

速さにも代償がある

全体の待ち時間は、録音の終了、送信、認識、任意の整形、文字の入力という複数の段階の合計です。ストリーミング方式ではさらに、早めに出す文字と後からの訂正のどちらを取るか、いつ言葉を確定するかを決めなければなりません。SayVelio では音声入力モードで選べます。高速は認識した文字を整形なしで入力し、バランスと最高品質は整形を加えてより整った文章にします。

送る前に必ず確認すること

大事な文章では、最後に読むのはあなたです。次のものは 2 回見ましょう。

  • 数字と金額(通貨や小数点も含めて)
  • 人、会社、製品の 名前
  • 否定:「ない」「決して」「一度も」
  • 日付と時刻
  • 医療、法律、お金に関する指示
  • 整形が言い換えた可能性のあるすべての部分

直しやすければ、完璧でなくても音声入力は役に立ちます。ただ、便利だからといって誤りがなかったことの証明にはなりません。

出典

  • Dhakal, V., Feit, A. M., Kristensson, P. O., Oulasvirta, A. Observations on Typing from 136 Million Keystrokes. CHI 2018. ケンブリッジ大学による紹介
  • Palin, K., Feit, A. M., Kim, S., Kristensson, P. O., Oulasvirta, A. How do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers. MobileHCI 2019. プロジェクトページ
  • Ruan, S., Wobbrock, J. O., Liou, K., Ng, A., Landay, J. A. Comparing Speech and Keyboard Text Entry for Short Messages in Two Languages on Touchscreen Phones. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2017. arXiv:1608.07323

よくある質問

良い WER とはどれくらいですか?

音声と作業しだいです。静かな部屋で最近のモデルを使ったはっきりした音声入力なら、WER は数パーセントであることが多く、複数の声が入った騒がしい録音ではずっと高くなることもあります。システムを比べるのは、同じ音声、同じルールのときだけにしましょう。

WER が 100% を超えることはありますか?

あります。挿入も数えるので、話していない語をたくさん加えるシステムは、もとの語数より多くの誤りを出すことがあります。