動画や音声の証拠を記録する計画手法 Omni-Decision、マルチモーダルエージェントの精度を上げる話

論文

動画や音声の証拠を記録する計画手法 Omni-Decision、マルチモーダルエージェントの精度を上げる話

スポンサーリンク

Omni-Decisionが、マルチモーダルな証拠を記録して計画し、精度を上げた。

この記事のポイント

  • 会話履歴の蓄積が判断を乱す
  • 証拠台帳で計画を整理
  • OmniGAIA81.4%。WorldSense65.0%

数字で見る

この記事に出てくる数字

OmniGAIA精度 81.4%
コスト比率 43%
WorldSense精度 65.0%

どこで使えるか

arxivで公開済み Gemini-3.1-Proの43%のコスト

動画を見る

スポンサーリンク

解説

かみくだいて説明します

arXivに2026-09-30に公開されたOmni-Decisionは、動画や音声、ウェブページ、計算を横断して証拠を探すマルチモーダルAIの計画機能を大幅に改善したものです。会話履歴にノイズがたまると判断が乱れるのを防ぐため、これまで溜めていた対話記録を証拠台帳に置き換え、使える情報だけを整理して渡す仕組みになっています。OmniGAIAという評価で81.4%の正解率を達成し、質問あたりのコストはGemini-3.1-Proのおよそ43%です。
証拠台帳に置き換えるというのは、これまでの対話履歴を全部捨てて、必要な情報だけを取り出すということなんですか?
そうです。ただ、全部捨てるわけではなく、criticと呼ばれる部品が各観察結果を読んで、台帳に記録するべき部分だけを抜き出すんです。例えば長い動画の中から証拠になりそうな映像や音声だけを選び、それ以外は切り捨てます。台帳にはまだ足りない証拠、確認できたこと、記録同士が矛盾している場所をまとめて書くので、計画を担当するAIは常にコンパクトな情報だけで次の手を考えられます。
作り手からすると、バックエンドを差し替えるだけで組み込めるのは確かに大きいですが、教師あり学習と強化学習で計画を磨くのは手間が挂かりそうですか。
組み込み自体は既存のマルチモーダルモデルにこの台帳の仕組みとcriticを追加する形なので、バックエンドを差し替えるだけで使えます。ただ、実際に動かすには各ステップで状態、行動、判断結果を記録して、教師あり学習と判断レベルの強化学習で計画部分をさらに磨く必要があります。学習データは公開されていませんが、モデルの重みは研究ページから入手できます。
強化学習で計画を磨くというのは、正解と不正解の例を大量に並べて教えるのではなく、自分で手を動かして試した結果で改善するということですね。
正確にはその通りです。正解の例だけをなぞるのではなく、実際に証拠を探して判断する過程を何度も繰り返す中で、どの証拠を拾うべきか、どこで判断を止めるべきかを自分で見つける形になります。この訓練のおかげで、長い動画の理解を問うWorldSenseでも65.0%の正解率を出し、エンドツーエンドのモデルと同等の性能を達成しています。
では、Gemini-3.1-Proと比べて43%のコスト削減は、同じ予算で何倍くらいの質問を捌けるようになるんですか。
およそ2倍です。コストが43%なので、同じ予算で扱える質問の数は倍を超えます。ただし、これは1問あたりの推論コストだけで、学習コストやサーバー維持費は含まれていません。
証拠台帳が矛盾を記録するというのは、証拠の記録同士が衝突したときに、AIが自分で訂正するということですか。
証拠台帳というのは、この先まだ見つかっていない証拠と、もう確認できている証拠、それから記録同士が食い違っている箇所を、そのまま書き込んでおく仕組みのことなんです
研究している人から見ると、これまでは何ができていなかったんですか。
これまでのマルチモーダルAIは、証拠を拾う感知部分はかなり進んでいましたが、それをどう使うか計画する部分が弱いままだったんです。感知の部分を別のモデルに置き換えても性能はあまり落ちませんでしたが、計画の部分を置き換えると正解率が大きく下がりました。つまりボトルネックは感知ではなく計画側にあったわけで、その計画部分を証拠台帳で整理したのが今回の仕組みです。
最後に、この証拠台帳の仕組みは他のマルチモーダルAIにもすぐ応用できるんですか。
Omni-DecisionはOmniGAIAで81.4%の精度を達成していて、そこでもcriticがノイズを除去して証拠台帳に使える内容だけを渡すので、plannerがコンパクトな文脈で判断できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文