動画生成モデルの物体の永続性を測るPWM、16Bモデルの物理推論能力を評価する話

論文

動画生成モデルの物体の永続性を測るPWM、16Bモデルの物理推論能力を評価する話

スポンサーリンク

PWM-WROPが物体の永続性で 16B 動画モデルの中で上位。

この記事のポイント

  • 動画モデルの物体恒常性は不明
  • 150課題のデータで16Bモデルを訓練
  • 14モデル中3位。ただし上位2モデルは統計的差なし

数字で見る

この記事に出てくる数字

タスク数 150
学習データ 1.5M
モデル規模 16B

どこで使えるか

物体の永続性を学習させたい人向け。認知科学ベースのデータで16Bモデルを訓練可能 GitHubで公開済み AWS Trainium2用。評価は英語のみ

動画を見る

スポンサーリンク

解説

かみくだいて説明します

動画生成AIは物体が画面から消えても存在を記憶する物体恒常性を持っているんですよね?
確かにその通りです。物体恒常性は人間の認知の基盤であり、現在の動画生成モデルも推論能力を芽生えさせています。
でも既存のモデルは、カメラアングルが変わったり遮蔽されたりすると物体を忘れてしまうんですよね?
はい。動画生成モデルは物体の永続性や固体性を備えておらず、遮蔽された後の物体の位置や形状を正しく推論できていないのが実態です。
arXivで公開されたWROPプロジェクトがその課題に挑みます。150の認知科学由来タスクと1.5M件の学習データを提供するインフラです。
そのアプローチって、具体的にはどういう仕組みなんですか?
仮想の物理実験室を想像してください。Blender生成器が照明や速度、カメラ角度をランダムに変化させつつ、タスクの認知構造を保持したまま映像を生成します。1タスクあたり10,000件以上のサンプルを6つの認知カテゴリーで構築しています。
変数を変えつつルールを固定する発想、確かに学習の偏りを防げそうです!
その通りです。同期処理やメモリ配置も最適化されたPWMというネイティブPyTorch学習スタックで効率的に処理できます。
実際の性能差はどのくらい見込めるんですか?
300問の試験で14本の動画モデルを評価した結果、PWM-WROPという16Bパラメータのモデルが継続生成カテゴリで1位、全体でも3位を記録しました。
14モデル中3位、2つのモデルと差がない結果です。
14本の動画モデルで比べると、続きを作るモデルでは1位、全体では統計的に同率の参照動画モデル2本に次ぐ3位です。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。試験範囲内のタスクに特化しているため、未知の物理シナリオへの一般化は保証されません。PWM-WROPモデルの学習には、AWS Trainium2上で動作するPWMというネイティブPyTorchのトレーニングスタックを用いています。
実際の試し方はどうすればいいんですか?
GitHubでコードとモデル重みを公開していますので、PWMスタックをAWS Trainium2で構築してモデルを試すことができます。
PWM-WROPは16Bのモデルで、Elo評価で続行モデル中最上位、全体でも3位にランクインしています。
認知科学にヒントを得た課題で動画モデルを訓練したんですね

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文