音声認識はどう学ぶのか、そして文脈が名前や専門用語に効く理由
学習と普段の利用の違い、モデルがなじみのない名前やなまりに弱い理由、文脈ヒントや辞書が認識を導くしくみ、そして音声入力をしても自分の声でモデルが学習されるわけではない理由を解説します。
要点
音声モデルは、文字と組になった大量の録音音声から学び、学んだことをあなたの声に当てはめます。よく見たものには強く、珍しい名前や専門用語には弱くなります。辞書の言葉のような文脈ヒントは、モデル自体を変えずに認識をあなたの用語に寄せます。ヒントを使っても、録音が学習データになるわけではありません。
話した内容
デモの前に kubernetes に hotfix をデプロイしてもらえますか acme さん向けです
SayVelio の入力結果
デモの前に Kubernetes に hotfix をデプロイしてもらえますか?Acme さん向けです。
学習と利用は別のタイミング
機械学習では、モデルが手書きのルールに従う代わりに、例からパターンを見つけます。音声の場合、例は録音と、そこで話された内容の組です。学習 は、膨大な数の例を使ってモデル内部のパラメーターを調整することです。推論 は、あなたが音声入力するときに起こることで、完成したモデルが新しい録音に当てはめられます。
この 2 つは別物です。1 文を音声入力しただけで、モデルが何かを学ぶわけではありません。プロバイダーが利用者の音声を学習に使うかどうかは、方針の問題であって技術的に必要なことではありません。SayVelio はあなたのデータで AI を学習させません。音声入力のプライバシーをご覧ください。
モデルが得意なこと、苦手なこと
モデルは学習したものを反映します。静かな部屋ではっきり言ったよく使う言葉は簡単です。あなたの音声が学習データと違うほど難しくなります。
- 珍しい言葉: 名字、製品名、社内のプロジェクト名、新しい言い回し。
- なまりや話し方 のうち、学習データに少なかったもの。
- 環境: 反響、遠いマイク、複数の人の声。
- 1 文の中での言語の混在。 SayVelio は音声入力のたびに言語を判定して対応します(2 つの言語で音声入力するを参照)。
だからこそ、品質は学習中に見せていない録音で測る必要があります。自分の学習データでは完璧に見えるモデルも、あなたの声ではつまずくことがあります。
データが多ければ自動的に良くなるわけではない
特徴量や測定値、パラメーターが多いほど結果は良くなる、と考えがちです。実際には、関係のない情報や重複した情報があると、一般化できるパターンではなく雑音をモデルが学んでしまうことがあります。研究者が別に取っておいた録音でモデルを試すのは、改善が新しい音声でも通用するかを確かめるためです。あなたにとって大事な数字は 1 つだけ。あなたの 次の 1 文をどれだけ正しく書き取れるかです。
しつこく間違える言葉を直す 2 つの方法
| 文脈ヒント | ファインチューニング | |
|---|---|---|
| 変わるもの | その依頼でどの候補語を優先するか | 追加の学習によるモデルのパラメーター |
| 速さ | 音声入力のたびに即時 | 学習データと時間が必要 |
| 誰がするか | あなたが言葉を追加する | モデルのプロバイダー |
| 保証 | なし。ただし名前にはとても効く | こちらもなし |
文脈ヒントは、会議の前に誰かに「Kubernetes と Acme という名前が出てくるよ」と伝えておくようなものです。耳の良さは変わりませんが、心の準備が変わります。
SayVelio は辞書をどう使うか
SayVelio の辞書は、この種のヒントとして 2 か所で働きます。
- 認識のとき、あなたの言葉が文脈として音声モデルに渡されるので、音が合えばその言葉を選びやすくなります。
- 整形のとき(オンの場合)、認識がそれでも間違えた表記を直す助けになります。言葉の聞こえ方として登録したバリエーションも使われます。

どちらの段階も保証ではありません。また、短く絞った辞書のほうが長い辞書より効きます。何百ものヒントは互いに効果を薄めてしまうからです。実際に間違えて出る言葉を追加し、使わない言葉は外れるに任せましょう。
整形は、独自のリスクを持つ 2 つ目のモデル
認識は言葉を書き取り、任意の整形がそれを読みやすい文章に書き直します。整形には言語モデルが使われ、句読点や「えー」の除去は得意ですが、自由に書き直しすぎるモデルは意味まで変えてしまうことがあります。SayVelio の整形には、あなたの言葉と言語を保ち、決して翻訳せず、話した内容に返事をしないよう指示しています。それでも大事な文章は、結果を自分の意図と見比べてください。
よくある質問
SayVelio は使ううちに私の声を覚えますか?
いいえ。認識モデルはあなたの声に合わせて変わることはなく、録音が学習に使われることもありません。あなたに合わせて変わるのは、辞書、整形プロンプト、アプリごとのスタイルです。
言葉を追加しても直らないことがあるのはなぜですか?
ヒントはその言葉を選ばれやすくするだけで、強制はしません。それでも間違えるなら、聞こえ方をバリエーションとして追加するか、辞書が長すぎて埋もれていないか確認してください。


