VLAモデルの推論を速くするrMuscle、ロボット作業の繰り返し性を活かす話

論文

VLAモデルの推論を速くするrMuscle、ロボット作業の繰り返し性を活かす話

スポンサーリンク

rMuscleが、RTX 4090 と Jetson Thor で 1.29-1.42 倍の推論速度向上を出した

この記事のポイント

  • VLA推論は遅延が課題
  • 実行間類似性で二層キャッシュ
  • RTX4090とJetsonThorで1.29-1.42倍速

数字で見る

この記事に出てくる数字

速度向上率 1.29-1.42X
GPU RTX 4090

どこで使えるか

VLA推論の遅延が課題の人向け。キャッシュで推論コストを下げられる arxivで論文公開済み RTX 4090とJetson Thorで実証

スポンサーリンク

解説

かみくだいて説明します

Kaijun Zhouらのチームが、およそ2026年9月17日にarXivへ公開しました。工場などで使われるビジョン・ランゲージ・アクション モデルの推論を、人間の筋肉の記憶にヒントを得た rMuscle という仕組みで速くします。
なるほど、同じ作業を繰り返す場面ですね。推論が重たいとロボットがもたつきますが、具体的にどこが速くなるんですか。
映像から取り出した情報を貯めるコンテキストキャッシュと、内部の神経ネットワークの反応を貯めるアクションキャッシュの二つを使います。同じ計算をやり直すのを避けて、RTX 4090 と Jetson Thor で、およそ1.29倍から1.42倍の速度向上を確認しました。
コンテキストキャッシュとアクションキャッシュ、聞きなれない言葉ですね。もう少しやさしく言うとどうなりますか。
映像の部分と、内部の反応の部分を別々に覚えておく仕組みです。例えば本棚で、よく引く本は手前に並べて、古い本は奥に退ける感じですね。
本を選ぶのはプログラムが判断するんですね。仕組みが自動的に管理するんですか。
仕組みが自動的に判断して、キャッシュのメモリフットプリントとアクセスオーバーヘッドを低く保つために、オンラインでキャッシュ再計算を行っています。
自動で管理するんですね。研究している人から見ると、これまでの手法と比べてどこが新しいんですか。
従来は映像の部分か内部の反応のどちらか一方しか活かしていませんでした。今回は両方同時に覚えて、計算量とデータを読み込む回数を同時に減らしています。LIBERO や RoboTwin というテスト環境、それに実物のロボットで、同じ成功率を維持したまま速くなりました。
両方同時に減らせるのは大きいですね。では、この仕組みは他のロボットでもすぐ使えますか。
対応するVLAモデルが同じ構造なら適用できます。組み込む作業自体は公開されていますが、ロボットの種類や使うモデルによっては調整が必要な部分があります。
調整が必要なモデルもあるんですね。最後に、今後さらに速くなる見込みはありますか。
rMuscleは、視覚トークンの再利用とニューロン活性化パターンの再利用という2つのキャッシュで、推論の速度向上を実現しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文