非同期推論で動作予測を高速化する手法RealtimeWAM、モーション制御の推論効率を上げる話

論文

非同期推論で動作予測を高速化する手法RealtimeWAM、モーション制御の推論効率を上げる話

スポンサーリンク

RealtimeWAMが、25倍の高速化で性能低下1%未満を達成した

この記事のポイント

  • 動画と行動予測の専門家が順番に動いて遅い
  • 1ステップ生成と非同期実行で並列処理した
  • 1%未満の性能低下で25倍の高速化を達成

数字で見る

この記事に出てくる数字

性能低下率 <1%
H100での速度向上 ~25倍

どこで使えるか

リアルタイム推論でロボット制御を組む人向け。25倍高速化で実時間対応。 GitHubで公開済み H100で25倍高速化

スポンサーリンク

解説

かみくだいて説明します

Chengtaoらの研究チームが、10月6日にarXivへ公開したモデル「RealtimeWAM」は、ロボットが映像を見て行動を予測する仕組みです。映像と行動の専門家を同時に動かす設計で、H100という演算チップの上でおよそ25倍の高速化を達成しています。
25倍も速くなるんですか。映像を作る部分と行動を予測する部分を、これまで別々に順番に回していたのを同時に動かすということですか?
そうです。これまでのモデルは映像の専門家が計算を終えてから行動の専門家が動き出すため、待ち時間がどうしても生まれていました。新しい仕組みでは、映像の専門家が計算した中間データをブロック単位で分け、行動の専門家がそれをすぐに取り使えるようにしています。両者が重なり合うことで、待ち合わせの時間をなくしています。
待ち時間をなくすのは分かりますが、その代わり精度は落ちないんですか。
精度は1%以下の低下に抑えています。映像と行動の専門家が同時に動く場合、局所的な誤差が小さくても最終的な行動がズレるリスクがありました。そこで事前に多段階で計算した正解の終点から教える仕組みを導入し、一回の計算で正確な行動を出せるようにしています。
正解の終点から教えるというのは、答え合わせのヒントを事前に渡すような感じですか。
正確にはその通りです。多段階で回したときの最後の出力を固定し、それを目標値として一回の推論に反映させています。これによって複数回の試行を省いても、最終的な行動の精度が保たれます。
研究している人から見ると、KVキャッシュという専門用語が新しい並列化の鍵だと聞きましたが、具体的に何を共有しているんですか。
KVキャッシュは映像を分析したときの重要な特徴をまとめたデータです。これをブロック単位で分け、行動の専門家が使う直前まで待たせずに渡すことで、待ち時間を完全に消しています。これまでの手法ではこのデータを全部送ってから同期していましたが、必要な部分だけ先に流し込む形に切り替えています。
全部送らずに必要な分だけ先に渡す、つまり取り合いの順番をずらす感じですね。
そうです。同期のタイミングを行動の専門家がデータを消費する直前に絞るだけで、全体の処理速度が大幅に上がります。
では、使っている人から見ると、手元で動かすのは容易ですか。動かすのに何が要りますか。
コードと学習済みの重みを公開しています。H100などのGPUがあれば、公開された手順に従って動作確認が可能です。ただし、実機への組み込みにはロボット側の制御環境との調整が別途必要です。そこはまだ分かっていません。
最後に、今後どう発展していく見通しですか。
多様なベンチマークで性能の優位性を示し、ベンチマーク全体での性能低下は1パーセント未満に抑えられています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文