CoEvoWhenが、推論軌跡からポリシーとツールを共に進化させ、超長尺動画の時刻特定精度を向上させるとともに視覚トークンコストを削減した。
この記事のポイント
- 既存手法はポリシーとツールが固定
- VLMの推論軌跡から両方を共進化
- 5ベンチで精度向上、一般QAにも有効
数字で見る
この記事に出てくる数字
| ベンチマーク数 | 5 |
|---|---|
| VLM数 | 3 |
どこで使えるか
超長動画の時刻特定で精度と効率を両立したい人向け。推論コストを下げつつ汎用性も確保する GitHubで公開済み 紹介ページあり
動画を見る
スポンサーリンク
解説
かみくだいて説明します
東京大学とエーアイエム研究所の研究チームが、超長尺の動画の中から特定の場面を正確に見つける手法、CoEvoWhenを2026-10-01に発表しました。
動画の中から場面を探す仕組みですね。これまではどうやって探していたんですか?
従来は決まった手順と、あらかじめ用意されたツールだけで動いていました。今回の手法は、VLMと呼ばれる動画を読み取るモデルが判断する過程の記録から、手順とツールを同時に進化させます。モデルそのものの中身を更新するわけではなく、使える技として外側に蓄積していきます。
手順とツールが同時に育つ、ということですね。では、方針とツールの更新は、現場の技術者がどう組み込む形になるんですか?
外部の更新プログラムが、動画から長い範囲の画像と、細かい部分の動画映像をどう組み合わせるかの方針を更新します。同時に、既存のツールを改良したり、新しいツールをコードで書いたりして、動画の証拠を集める能力を上げます。
方針とツールの更新は、確かに分かりにくい言葉ですね。もう少しやさしく言うとどうなりますか。
料理で言うと、レシピと包丁を同時に改良して、より美味しい料理を早く作るようなものです。手順と道具が一緒に上手くなっていくイメージです。
レシピと包丁を同時に改良する、と。では、自分でツールを呼び出す判断は、どのくらい正確にできるんですか?
進化させた方針に従って、画像を見るツールと動画を見るツールを自分で組み合わせて動かします。別に強い計画を立てるモデルを別に用意する必要はなく、モデル自身が判断してツールを呼び出します。
別に強いモデルが要らない、と。では、5つのデータで試した結果、具体的に何%くらい上がって、トークンはどれくらい減ったんですか?
5つの評価データと3つのモデルで試した結果、精度が一貫して上がり、推論時の画像のトークン数を減らせました。動画の質問に答える一般的なタスクでも、追加で進化させなくても大きな性能向上が見られました。
追加で進化させなくても性能が上がった、と。では、この技は別の動画のタスクにそのまま移せるんですか。
公開されているコードを参考にして、別のモデルや別の動画のタスクに組み込む形になります。ただ、どのくらいの手間で組み込めるかは、まだ具体的な数字が出ていません。
では、最後に、この手法の今後の展開はどう見えていますか。
五つのベンチマークと三つのVLMで、推論時の視覚トークンコストを削減しつつ精度を向上させ、汎用ロング動画QAでも追加進化なしに大幅な性能向上を示しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。