二つの腕を持つロボットの手元操作に使う DeltaWAM、推論の重さを減らす手法

論文

二つの腕を持つロボットの手元操作に使う DeltaWAM、推論の重さを減らす手法

スポンサーリンク

DeltaWAMが推論の重さを 3 割超減らし、RoboTwin の clean 設定で成功率が 85.4% に向上した

この記事のポイント

  • 既存手法は不要なフレーム生成で遅い
  • デルタ予測とストリーミングメモリで高速化
  • RoboTwin実機で最高成功率。ただし条件付き

どこで使えるか

双腕ロボット制御を組む人向け。推論コストを下げ、ノイズ耐性を高める GitHubで公開済み 実機評価あり。アーキテクチャ3種あり

スポンサーリンク

解説

かみくだいて説明します

動画生成AIの知識をロボット制御に転移させる手法が増えていますよね?
確かにその通りです。動画生成モデルが持つ視覚や運動の事前知識を、ロボットが環境を予測する世界モデルに組み込む研究が活発になっています。
でも既存の方法って、毎回完全な未来フレームを予測しているんですよね?
その通りです。変化しない背景まで毎回密に予測するため、計算リソースを無駄に消費し、推論速度がボトルネックになっていました。
そこでarXivに公開されたDeltaWAMが、変化量のみを予測するアプローチで解決を図っています。
そのアプローチって、具体的にはどういう仕組みなんですか?
密な基準点ストリームと疎な差分ストリーム、行動ストリームの3本柱で構成され、動画モデルの重みを共有しつつ計算効率を上げています。さらにStreaming Delta Memoryという仕組みで、キャッシュされた基準点にコンパクトな差分情報を逐次更新するため、重い動画モデルの再処理を回避します。
差分だけを追跡してメモリを更新する発想、確かに理にかなっていますね!
実際の性能向上はどの程度見込めるんですか?
RoboTwin環境での検証では、クリーン設定で成功率が81.3%から85.4%に向上し、視覚ランダム化下でも75.8%から83.9%を達成しています。さらにStreaming Delta Memoryにより、1ステップあたりの推論遅延が36.57%短縮され、計算量も31.55%削減されています。
従来手法と比べて推論速度が大幅に改善されたんですか?
計算コストを大幅に削減しつつ、実機評価でも評価ポリシー中最も高い成功率と進行度を記録しています。
でも、差分予測に特化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。既存手法がdense-anchorに依存し、不変な内容を繰り返し処理していた点を、sparse-deltaで回避したのがDeltaWAMです。
実際の試し方はどうすればいいんですか?
公開コードとRoboTwinでの結果が示されており、実機評価でも最高成功率と正規化進行度を達成しています。
実機での評価結果も示されており、推論効率の向上が実用化に寄与する可能性は十分にあります。
推論速度の壁が下がれば、さらに高度なロボット操作の研究が加速しそうですね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文