視覚と動作を統合する世界モデル InternW0-Δ、2万時間超のデータで学習

論文

視覚と動作を統合する世界モデル InternW0-Δ、2万時間超のデータで学習

スポンサーリンク

InternW0-Δが公開。2万時間超のデータで学習した世界モデルで、シミュレーションと実機で既存手法を上回る性能を出した。

この記事のポイント

  • 視覚・動作・幾何の統合が難しかった
  • MoTで動画・VLM・4Dを統合
  • シミュ・実機で先行を上回る

数字で見る

この記事に出てくる数字

学習データ量 20K時間

どこで使えるか

汎用ロボット操作の基盤モデルを自前で構築する人向け。シミュと実機の両方で高精度な動作生成が可能 論文ページから入手可能

動画を見る

スポンサーリンク

解説

かみくだいて説明します

ロボットが物を動かすとき、見た目の変化と動作を同時に予測できるモデルが欲しいですよね?
確かにその通りです。視覚的な世界の変化とロボットの行動を一体化させる研究が急速に進んでいます。
でも、既存の手法だと画像認識と動作生成が別々だったり、リアルな環境への対応が難しくないですか?
その通りです。大規模学習モデルの知見を一つにまとめると、計算負荷や同期の壁がどうしても大きくなります。
そこでarXivに公開されたInternW0-Δが、マルチモーダルな世界行動モデルとして提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
MoTフレームワークを採用し、動画解析の専門モデルと動作生成の専門モデルが協調します。固定されたVLMが意味情報を仲介し、4次元幾何モデルが訓練時のみ知識を蒸留します。さらにCausal Imprintで推論時に未来映像を生成せずに予測表現を直接動作モジュールに渡します。
推論時の計算を大幅に削減できる仕組みなんですね!
実際の性能向上はどのくらい期待できるんですか?
2万時間を超える多様なロボットデモデータを学習基盤として構築し、シミュレーションベンチマークと実機テストの両方で従来手法を凌駕する結果を示しています。推論時に未来映像ロールアウトなしで直接予測表現を提供するCausal Imprintを導入し、統合されたフレームワークで高い汎用性を達成しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。ただ、2万時間以上のデータで学習し、シミュレーションと実機の両方で高い性能を示しているのが強みです。
自分で動かすにはどうすればいいんですか?
訓練コード、モデル重み、インフラ構成、データ処理パイプラインを公開しています。ライセンスが許す範囲で処理データも入手可能ですので、まずはGitHubのリポジトリから環境構築を試してみてください。
2万時間以上のデータセットを構築し、シミュレーションと実機で高い性能を示しています。
汎用ロボットの実現に一歩近づいたと感じます!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文