音声とテキストのモデルをノイズに強くする AnchorPrompt、推論時の追加検出なし

論文

音声とテキストのモデルをノイズに強くする AnchorPrompt、推論時の追加検出なし

スポンサーリンク

AnchorPromptが音声モデルのノイズ耐性を高め、ハルシネーションを減らした

この記事のポイント

  • 大規模オーディオ言語モデルは入力ノイズや波形の歪みに敏感だった
  • モデルを凍結し、デコーダー入力のプロンプトベクトルを自己蒸留で学習させた
  • 9組中6組で正解率が向上、最大1.2%の低下にとどまる

数字で見る

この記事に出てくる数字

精度改善比率 6/9
精度悪化上限 1.2%

どこで使えるか

ノイズ混入で精度低下やハルシネーションに悩む人向け。モデル全体は凍結でプロンプトのみ学習 arXivで公開済み モデルは3種類、ベンチマークは3つ

スポンサーリンク

解説

かみくだいて説明します

Pooneh Mousaviらの研究チームが、音声とテキストを扱う大規模モデルを頑丈にする手法「AnchorPrompt」をarXivに発表しました。2026年10月1日付です。
音声とテキストを混ぜて使うモデルは、ノイズが混じるとすぐ間違えるんですか?
そうです。特にノイズや波形の欠落、敵対的な注入といった入力の変化に敏感で、答えられない場面でもでたらめな回答を出してしまう幻覚という現象が起きやすくなります。
なるほど。そこで中身は変えずに、音声と質問の間に挿すプロンプトベクトルだけを学習するんですね!
正解がある音声にはモデルがクリーンな状態で出した答えを目標にし、証拠が足りない音声には拒否する答えを目標にします。この二つをノイズや文章の変形を混ぜながら回す自己蒸留という方法で動かします。
自己蒸留は、自分で作った答えを自分で正解として使うということですね。
正確にはそうです。先生がいない中で、モデル自身の回答を教科書にして反復練習を繰り返すイメージです。推論の時は歪みの種類を事前に調べず、見たことのないノイズや残響にもそのまま適用できます。
3つのモデルと3つのベンチマークで測った結果、正解率はどれくらい変わりましたか?
9組のモデルとベンチマークの組み合わせで6組が向上し、残りの影響は最大およそ1.2ポイントだけでした。激しい歪みの中でも幻覚が明確に減り、クリーンな音声での誤った拒否はほとんど出ません。
残響や選択肢の並べ替えといった未知の歪みにも一致性が移るんですか。現場で組み込む技術者から見ると、追加で準備するデータは要りますか?
学習時に用意した多様な歪みのデータだけで十分です。推論時は追加の検出器も不要で、見えない歪みへのゼロショット転移が可能です。
確かにコストが抑えられて使いやすそうです。では、まだ解けていない課題はありますか?
3つのモデルと3つのベンチマークという限られた環境での検証なので、他のアーキテクチャや全く異なるタスクへの適用結果は、そこはまだ分かっていません。
今後の拡張に期待します!
今回は未知の乱れへの汎化を確認しただけで、実運用への組み込みは示されていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文