世界モデルの物理理解を特徴合わせで小型ロボット方策に継承し、実行速度と規模は据え置きで性能を上げる

論文

世界モデルの物理理解を特徴合わせで小型ロボット方策に継承し、実行速度と規模は据え置きで性能を上げる

スポンサーリンク

THAW-VLAが、世界モデルの特徴を継承してロボット方策の性能を上げた

この記事のポイント

  • VLAは頑健性がデータ範囲に限定される
  • 凍結ワールドモデルの内部特徴を照合
  • 学生モデルがLIBEROで97.9%達成

数字で見る

この記事に出てくる数字

推論速度 32ms
メモリ使用量 1.86GB
LIBERO精度 97.9%

どこで使えるか

ロボット制御を自前で組む人向け。推論コストを抑えつつ世界モデルの知識を継承したい場合 GitHubで公開済み RTX 5090で32ms、1.86GB

スポンサーリンク

解説

かみくだいて説明します

ロボットの動作制御に使うVLAモデルって、データ量が増えるほど強くなりますよね?
確かにその通りです。観測から行動を直接対応付けるVLAは物理世界の反応を予測する目的関数を持たないため、学習データの被覆範囲が性能の上限になります。
なら物理法則を予測するワールドモデルを直接制御ループに乗せれば解決じゃないですか?
理論的には最も自然な解決策ですが、未来をシミュレーションするたびに数秒かかるため、リアルタイム制御には現実的に適合しませんでした。
arXivで公開されたTHAW-VLAは、この二つを分離する発想で挑んでいます。
そのアプローチって、具体的にはどういう仕組みなんですか?
物理シーンに関する知識は内部特徴量に既に蓄積されているため、未来生成という重たい目的関数を外せば特徴量そのものが物理的基盤として機能します。学習時は凍結したワールドモデルを訓練フレームに通して特徴量キャッシュを事前に作成し、学生モデルがそのキャッシュに合流するよう特徴量アライメント項を追加するだけです。推論時には教師モデルも投影層も一切ロードしないため、モデル容量は増えません。
訓練時のみキャッシュを参照して、本番は元のVLAと同じ構造で動くんです!
実際の性能向上はどのくらいあるんですか?
LIBEROベンチマークで0.8Bモデルが97.9%を達成し、RoboCasa-GR1の人間型ロボ操作では48.2%から50.5%に改善しています。推論はコンシューマー向けRTX 5090上で32ms、メモリ使用量1.86GBで動作します。
教師なしでこの数値なら、従来のナイーブなVLA実装より圧倒的に効率的ですよね?
でも、特定のワールドモデルに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
いいえ。学生モデルのスケール、バックボーン、アライメント層、教師モデルを変えても効果が持続しており、特定の二つのネットワーク間の脆いアライメントではなく、広範な表現事前知識を示しています。
開発者が実際に試す手順は簡単ですか?
GitHubでコードが公開されており、既存のVLAパイプラインに特徴量アライメント項を追加するだけで導入可能です。ぜひ標準的な訓練スクリプトに組み込んでみてください。
シミュレーション上のLIBEROやRoboCasa-GR1での成果に加え、実機の単腕・両腕プラットフォームでも同じ目的関数が有効に働きます。
実機でも成果が再現されるなら、その汎用性は驚くべきものですね。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文