VPP2が、動画予測と実ロボットの動作で両方の成功率を上げた。
この記事のポイント
- 既存のWAMは開かれた環境で誤った動作予測を頻繁に生み出す
- 操作動画で事前学習し、MoTで動作モジュールを追加したVPP2を開発
- 実世界のゼロショットタスクで最強ベースラインを18.5%ポイント上回る
どこで使えるか
論文公開済み 実環境での評価あり
スポンサーリンク
解説
かみくだいて説明します
Yanjiang Guoらの研究チームが、2026年10月8日に発表した手法、Video Prediction Policy 2、通称VPP2です。既存の手法は自由な環境で動きを誤って予測しロボットが間違った動作をしてしまう問題がありましたが、このモデルは動画予測の精度を11.0%ポイント上回り、実機の操作タスクでも最も強い比較対象を18.5%ポイント上回る成功率を記録しています。
動画から動きを予測する部分と、ロボットに指示を出す部分を別々に扱わないと、汎用性が損なわれるんです。
動画モデルに動きの指示を単純に足すと汎用性が落ちるため、まず操作動画の大規模データセットで事前学習を積み、イベントごとの詳細なキャプションを付けて学習させました。その上で動きの予測だけを担うビジュアルプランナーに圧縮し、最後にMixture of Transformers、略してMoTと呼ばれる仕組みで動作モジュールを組み込んでいます。
MoTというのは、複数の専門家が並んでいる仕組みですよね。その場面で最も適した方に判断を委ねる切り替え方式なんですね。
MoTという仕組みで、映像から先の動きを予測する部分と、ロボットの動きを決める部分を組み合わせて学習する構成にしました。
予測と操作を同時に高めるのが難しいと聞いていました。実際に動かすロボットの種類が変わっても、そのまま使えるんですか?
実機でのゼロショットALOHA操作タスクでは、最も強いベースラインより18.5%ポイント高い成功率を確認しています。
学習データにない環境でも対応できるのは大きいですね。では、実際に現場でこのモデルを使う場合、計算資源はどれくらい必要になるんですか?
そこはまだ分かっていません。論文ではモデルの規模をVPP2-14BとCosmos3-64Bで比較していますが、推論時の具体的な演算量については言及がありません。
推論コストが不明だと、実装する側も見通しが立ちにくいですね。最後に、この手法がロボットの学習パイプラインに与える影響はどれくらい大きいんですか?
既存の手法が抱えていた、動画モデルへの単純な組み込みによる汎用性の低下を、データ構成とアーキテクチャの両面から解決しています。ベンチマークLIBERO-ProやLIBERO-OOD、RoboDojoでも評価された手法の中で最高成功率を達成しており、動画予測を動作学習に転移する分野の標準的なアプローチになり得ると考えられます。
動画予測から動作学習への転移が、より実用的な段階に入ったということですね。
今後、より小規模なモデルでの実装や、異なる操作タスクへの拡張結果が期待されますが、具体的なロードマップや公開スケジュールについては材料に記述がないため、そこはまだ分かりません。
出典
この記事のもとになった情報
- arXiv:Video Prediction Policy 2: Predict Better, Act Better
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。