視覚的な変化を予測する訓練データ WOVEN、マルチモーダル AI の世界理解を上げる話

論文

視覚的な変化を予測する訓練データ WOVEN、マルチモーダル AI の世界理解を上げる話

スポンサーリンク

WOVENの訓練データで MLLM の世界理解が向上。22 の外部ベンチで最大 27.3 ポイント改善。

この記事のポイント

  • 既存ベンチは比較できなかった
  • 36076例のデータで訓練レシピを確立
  • 26ベンチ中22で向上。ただし推論操作で選別

数字で見る

この記事に出てくる数字

改善率 最大27.3pp
学習データ数 36,076例
削減率 30-50%

どこで使えるか

空間や物理法則の理解を自前で鍛えたい人向け。転移学習で汎用性を高められる WOVENデータセットで公開済み 20シーン×5アクション×8推論の構成

スポンサーリンク

解説

かみくだいて説明します

Zheyu Fanらの研究チームが、2026-10-09 に arXiv にマルチモーダル大規模言語モデルの学習データセット WOVENを発表しました。動画生成モデルから 36,076件の例を、20のシーン、5つの動作、8つの推論タイプに整理したものです。
動画から学習するデータなんですね。なぜそれが重要になるんですか?
既存のモデルは空間や物理法則、時間の流れを扱う推論で大きな欠陥を抱えています。このチームは、その原因が視覚的な遷移、つまり前の状態から次の状態がどう変わるかを推測する能力の欠如にあると仮定し、その能力だけを集中的に訓練する仕組みを作りました。
前の状態から次の状態がどう変わるか、ですね。それは例えば、映像の中でボールが転がって止まる様子を学習するということですか。
正確にはそれに加えて、ボールが壁に当たって跳ね返る物理法則や、時間が経って影の位置が変わる時間的な変化も含みます。38種類の最先端モデルで試したところ、人間より大幅に劣っており、モデルの規模が大きくなっても改善しない傾向が確認されています。
規模を大きくしても直らないんですか。では、この WOVEN で訓練すると具体的にどれくらい変わるんですか。
およそ 2,000件のデータだけで訓練したサブセットが、外部の 26あるベンチマークのうち 22で最大 27.3ポイント向上させました。また、既存のタスクの学習データのおよそ 30から 50%を WOVEN のデータで置き換えても、同等の精度が維持できます。
既存のデータを半分近く減らせるんですか。訓練する側からすると、どのタイプのデータを選べばいいか迷いそうですが。
チームは、動作やシーンではなく、学ぶ推論のタイプごとにデータを選ぶこと、そして視覚的な状態の変化が大きいものを選ぶことが頑健な訓練につながると結論付けています。
推論のタイプごとに選ぶ、ですね。では、実際にこのデータを使ってモデルを組み込む技術者の立場から聞きますが、手元で動かすのに必要な環境や公開状況は分かるんですか。
公開されているコードやモデルの具体的な動作環境、そして利用可能なライセンスの範囲については、そこはまだ分かっていません。
最後に、このデータを実際の AI サービスに組み込む場合の課題について聞きますか。
研究チームは、視覚的な遷移の推論をシステム的な世界モデル訓練の再利用可能な基盤として位置づけています。今後の展開としては、異なるタスクへの適用範囲の拡大と、実環境での遅延やコストの検証が待たれますが、具体的なスケジュールやパートナー企業名については現時点で報告されていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文