画像から次の行動を判断して動画を作る WorldGuide、手順をこなす話

論文

画像から次の行動を判断して動画を作る WorldGuide、手順をこなす話

スポンサーリンク

WorldGuideが、画像と目標から次の行動を判断して動画を作成。手順をこなす話

この記事のポイント

  • 開ループ生成は結果に適応できない
  • 目標と初画像だけで行動を予測・実行
  • 計画と実行の結合が成功率を上げた

数字で見る

この記事に出てくる数字

タスク数 245
カテゴリ数 27

どこで使えるか

手順をこなす動画生成を自前で組む人向け。計画と実行を同じモデルで学習 arXivで公開済み 評価データは59Kステップ、245タスク、27カテゴリ

スポンサーリンク

解説

かみくだいて説明します

Ankan Deria たちの研究チームが、手順を踏む動画生成モデル「WorldGuide」を発表しました。目標と最初の写真だけを与えると、Planner という計画役が次の動作を予測し、Executor という実行役がその動画を作ります。
計画役が手を決めて、実行役が動画を作るんですか。その 2 つは別々に鍛えているんですか。
違います。同じ手順の動画を使って、同時に鍛えています。計画役は動画の変化を見て次の手を予測し、実行役は予測された手をそのまま動画にします。専門の言葉で閉ループと言いますが、例えば料理で言えば、火加減を見ながら次のお皿を選ぶようなイメージです。
火加減を見ながら次のお皿を選ぶんですか。閉ループは具体的にどう動くんですか。
動画を作ったあと、その動画の中身をまた入力に戻す仕組みです。一度作り始めると修正が効かない open-loop と違い、途中で方向を直せます。
途中で方向を直せるんですか。評価データはどれくらいの規模なんですか。
およそ 5万9千本の動画で 245 種類のタスク、27 の手順カテゴリーを扱っています。これを WorldGuide Bench と言って、手順ごとの動画と動作の対応を一つずつ記したものです。
手順ごとに動画と動作の対応を記したデータなんですね。実際の成功率はどうなったんですか。
33.33% のタスク成功率を記録しました。同じ条件で比較した最近の動画モデル MiniMax-H3 は 29.90% です。MiniMax-H3 は参考になる動作計画を事前に受け取っていますが、WorldGuide は目標だけから自分で計画を立てています。
計画を事前に渡されていないのに上回ったんですか。動画だけを見て判断する仕組みは、現場の技術者が組み込む時に何が要るんですか。
動画生成モデルと動作予測の部分を一緒に動かす必要があります。動画の出力を次の判断に直接繋げる設計になっているので、外部の判定プログラムを挟む手間は減ります。ただ、手順ごとの動画データで同時に訓練しているため、扱うタスクが増えるたびに追加の訓練データが要ります。
タスクが増えるたびに新しい動画の訓練データが要るんですか。これまでできなかったことは何なんですか。
従来の open-loop と言われる方式は、一度動画を作り始めると途中で修正が効きませんでしたが、WorldGuide は生成した動画を見て次の手を直せます。ただ、長い手順になると動画の履歴をどこまで保持するかのバランスがまだ解けておらず、そこは token 数を抑える仕組みで対応しています。
では、VideoCraft-Bench の結果も気になります。
VideoCraft-Bench では 47.69% の成功率で、MiniMax-H3 の 32.73% を上回っています。目標だけを与えた条件での比較なので、計画と実行を一緒に鍛える効果が数字に出ています。
計画と実行を一緒に鍛える効果が数字に出たんですね。最後に、今後の見通しはどうなりますか。
WorldGuide Benchで約5万9千の手順注釈動画を使い、27の手順カテゴリにわたって評価しました。これにより、計画と実行を結合することが、目標指向の手続き的動画生成において重要であることが示されました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文