Spurious Onsets Mitigationが、フルデュプレックス LLM の不要な発話をリアルタイムで抑制した
この記事のポイント
- 長時間の沈黙時に不要な発話が生成される問題
- 発話開始確率が急上昇する因果的介入で不要発話を抑制
- 実時間の処理時間で真の応答を維持する
数字で見る
この記事に出てくる数字
| 偽 onset 抑制率 | 13/13, 9/9 |
|---|---|
| 真応答保持率 | 40/40 |
どこで使えるか
フルデュプレックス LLM で不要な発話を抑えたい人向け。学習不要で実時間処理を実現 GitHubで公開済み 80msフレーム予算内。95パーセンタイルのみ61ms以下
スポンサーリンク
解説
かみくだいて説明します
東京大学で研究を進める西戸健都さんが、全二重型スピーチ言語モデルの不要な発話を抑える手法をarXivに公開しました。MoshiやPersonaPlexといったモデルはユーザーの話し声と同時に話し出せますが、沈黙が続くと勝手に話し出す現象が確認されています。デジタルの無音入力で5分間続けると、Moshiが12/40、PersonaPlexが11/40、余計な発話を始めていました。
5分の沈黙で12/40も勝手に話し出すんですか。開発する側からすると、この不要な発話の原因は結局何だったんですか。
2つの仮説を検証した結果、モデルが自分の前の出力に影響されて発話確率が急激に跳ね上がる現象が原因だと分かりました。80ミリ秒のフレーム内で、確率が9桁以上も急上昇していたということです。
80ミリ秒って、人間の眨眼より短い時間ですよね。その短い時間で確率が9桁も変わるって、具体的にどのくらいの変化ですか。
確率が9桁以上跳ね上がっていたということです。つまり、モデルが通常時と全く違う状態に切り替わっているということです。
それを止めるために、どのような検証をしたんですか。
ユーザーの直前の入力をいったん消した状態で、モデルの次の出力がどう変わるか調べました。まるで相手の言葉を消して、自分だけで次の返事が同じか確かめるようなものです。ユーザーの声に反応して話し出しているのか、それともモデル単独で勝手に話し出そうとしているのかを切り分けているんです。
相手の言葉を消して同じ返事なら、それはモデル側の癖ってことですね。実際にどのくらい抑えられたんですか。
40回ずつの実験で、Moshiは13/13、PersonaPlexは9/9の不要な発話を抑えられました。本来の応答40/40回はそのまま残っています。再学習は不要で、判断に要する時間は既定の枠内に収まり、実時間より速く動きます。95パーセンタイルで61ミリ秒未満でした。
再学習なしで本番並みの速度で動きますね。実機のマイクノイズがある環境でも試したんですか。
はい、現実のマイクノイズを再現した環境で40回ずつ評価しています。ノイズが混ざっても不要な発話はしっかり抑えられ、本来の応答は失われていません。
開発現場で組み込む際の手間はどれくらいになりますか。
推論時に追加で動くだけなので、モデル自体を書き換える必要はありません。コードは公開されていますが、組み込み時の具体的な要件や対応デバイスについては、そこはまだ分かっていません。
では、次の話題に移ります。最後に、この手法が実用化する上で何がまだ解けていないんですか。
40回のテストで偽の発話を13/13と9/9抑え、本物の応答は40/40残し、判断時間は61ミリ秒以内でした。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。