動画の推論を正しくさせる BPO、Qwen2.5-VL の学習を改善する話

論文

動画の推論を正しくさせる BPO、Qwen2.5-VL の学習を改善する話

スポンサーリンク

BPOが Qwen2.5-VL-7B-Instruct のマクロ精度を 4.7 ポイント上げた

この記事のポイント

  • 動画MLLMは時間証拠で判断していない
  • 反事実的視点の出力パックで最適化
  • Qwen2.5-VL-7Bで+4.7pp。ただしGRPO比較のみ

数字で見る

この記事に出てくる数字

macro精度向上 4.7pp

どこで使えるか

動画MLLMの学習を自前で組む人向け。時間証拠を使わない問題を補正する。 arXivで論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Zhaolu Kang さんたちの研究チームが、動画マルチモーダル大規模言語モデルの学習手法 Behavior Pack Optimization を発表しました。動画の質問に正解しているように見えても、実は映像の時間的な証拠ではなく外見や言葉の偏りに頼っているモデルを改善し、ベンチマークで精度を 4.7、時間的な判断が問われる難しい問題では 7.8、答えを保留する判定を 20.0 それぞれ向上させました。
外見や言葉の偏りに頼っているというのは、モデルが本当の意味で動画を見ていないということですよね。この手法は具体的にどこが変わるんですか。
従来の手法は動画の一枚に対して一つの答えだけを採点していたため、モデルは時間軸に沿った一貫した判断を練習できなかったのです。新しい手法では質問の種類に応じて映像を複数パターン用意し、それらの答えをまとめて採点します。例えば対象の物体を隠しても答えが変わらない場合は安定しているとし、重要な証拠を消したときに答えが変わることを敏感さと見なします。
複数のパターンを用意してまとめて評価するんですね。では、現場でこの手法を使う場合、計算量はどれくらい増えるんですか。
パターンの数を増やしても計算コストが急増しないように、基準となるのは元の動画に対する答えです。複数のパターンを混ぜた平均値ではなく、元の映像の答えを一つの目安に置いて差を計算するため、小さなパターン数でも安定した学習が可能です。同じ学習予算で従来の手法と比較しても、精度は明確に上回っています。
元の映像の答えを基準に差を見るんですね。では、他のモデルにもこの効果は適用できるんですか。
別のモデルである LLaVA-Video-7B に対しても同様の精度向上が確認できています。また、学習時のロールアウト回数ではなく、用意した映像のパターンセット自体が性能を左右していることを、詳細な検証で示しています。
時間的な判断が問われる難しい問題で 7.8 向上したというのは、モデルが動画の順番をちゃんと理解するようになったということですか。
正確にはその通りです。従来の手法だとモデルが映像の順序を無視して答えを出していましたが、この手法では時間的な証拠を消したときに答えが変わることを敏感さと見なすため、順番に沿った推論が練習されます。
では、この手法の限界や、これから解決すべき点はどこにあるんですか。
本研究は動画の質問応答に焦点を当てていますが、Video-MMEやLongVideoBenchへの転移可能性を検証しており、LLaVA-Video-7Bでも同様の向上を確認しています。
最後に、この研究を現場で活用する人はどこから見ればいいんですか。
このパック単位の視点が、実証に基づいた動画理解へ向かう動画MLLMとマルチモーダル事後学習の分野にとって、出発点の一つになればと考えています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文