Realtime-Venusが、音声と映像で対話しながら非同期タスクの委任も可能になった
この記事のポイント
- 9Bモデル2基で音声と動画の双方向対話を可能にした
- バックチャネルや他者発話、雑音下での応答を評価した
- 3条件ともGemini 3.1 LiveとGPT-4oを上回った
数字で見る
この記事に出てくる数字
| モデルパラメータ | 9B |
|---|---|
| 中断応答率 | 75% |
どこで使えるか
音声と映像で対話しながら非同期タスクを並行して処理したい人向け。 arXivで論文公開済み モデル重みの公開は記載なし
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Ruixiang Zhao さんらの研究チームが、会話の途中で裏側の作業を並行して進められるシステム、Realtime-Venusを発表しました。音声と映像に対応する 9B のモデル 2 つを使い、ユーザーの発言とシステムの返答、裏側のタスクを一つの時間軸で管理しています。
裏側の作業を並行して進められるというのは、会話しながら別のことを裏でこなすということですか。専門用語の二重ループはまだ掴めません。もう少しやさしく言うとどうなりますか。
前のループで会話を守りながら、後ろのループで準備を進めるイメージです。例えばあなたが質問をしている間に、システムが裏側で必要なデータを調べたり別のツールを動かしたりして、答えが出たらその場で会話に組み込む仕組みです。
なるほど、会話の質を落とさずに準備ができるわけですね。その仕組みは現場で使われている技術と置き換わる話ですか、まだ先の話ですか。
公開時期や開発元の企業名については、そこはまだ分かっていません。ただ、評価試験の結果を見ると、映像を理解するテスト 8 つのうち 6 つで最高スコアを出しています。StreamingBench が 70.2%、OVO-Bench が 64.7%、Daily-Omni が 81.3% です。
映像のテストで圧倒的ですね。音声のほうはどのくらい強いんですか。
音声のテスト 8 つのうち 4 つで比較対象のモデルを上回っています。MMAU が 78.0%、MMAU-Pro が 63.2%、Llama Questions が 83.8%、Speech CMMLU が 67.8% です。会話の割り込みに対応するテストでは、ユーザーが話を遮った場合の 75% に反応し、続きの会話を持続する率が 97%、88%、86% を記録しました。Gemini 3.1 Live や GPT-4o をすべての上回っています。
割り込みへの対応率が 75% で、続きの会話も高い数値です。これは開発者が組み込む際に、どのような準備が必要になるんですか。
必要なハードウェアや学習データ、組み込みの手順については、そこはまだ分かっていません。モデルは 9B で、音声と映像の 2 種類が用意されています。トレーニングにはオフラインでの理解学習、割り込みを想定した会話の軌道、そして裏側のタスク委譲のワークフローを組み合わせた手法が使われています。
では、研究している人から見ると、どこが新しいんですか。
これまでのシステムは、ユーザーが話し終わるのを待つか、割り込みを感知して一旦止めるかどちらかでした。Realtime-Venus は会話の流れを壊さずに、裏側の計算を同時に走らせられる点が新しいです。共有の時間軸で入出力と委譲イベントを管理し、二重ループで前後の処理を切り替えています。
最後に、実用化に向けて何がまだ解けていないんですか。
公開時期や開発元の企業名、組み込みに必要な環境については、そこはまだ分かっていません。音声と映像の両方で最高スコアを記録している点は確かですが、実際の製品にどう組み込まれるかは今後の展開を待つことになります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。