フローポリシーの学習コストを下げる手法、4つのタスクで大幅に成功率を向上

論文

フローポリシーの学習コストを下げる手法、4つのタスクで大幅に成功率を向上

スポンサーリンク

SQAMが、4つの困難な領域で成功率を最大35ポイント向上。

この記事のポイント

  • フローモデルの各ステップでベクトル・ヤコビ積が必要
  • 値勾配をフロー時間でスケーリングするスカラー伴随を導出
  • 4領域で18〜35ppup向上。実ロボットでもSFTを上回る

数字で見る

この記事に出てくる数字

成功率向上 18~35pp
テストタスク数 3

どこで使えるか

フローモデルを強化学習で改善したい人向け。ベクトルヤコビ計算を回避しコストを抑える arXivで論文公開済み 実ロボットでの検証あり

スポンサーリンク

解説

かみくだいて説明します

2026 年 10 月 8 日に arXiv に発表された SQAM という手法は、Flow policies の fine-tuning コストを大幅に減らす技術です。複数のステップで行動を生成するモデルを強化学習で改善する際、従来の重たい計算を避ける形で設計されています。
複数のステップで行動を作るんですね。だとすると、学習の計算が重そうなんですが、具体的にどこが楽になるんですか?
従来の adjoint matching という手法では、各ステップでベクトルとヤコビ行列の積を計算する必要があり、ステップ数やモデルの大きさが増えるとコストが膨らんでいました。
行列の積を毎回やるのが大変だったわけですね。スカラー adjoint って、具体的に何を置き換えるんですか?
各ステップで重たい積を計算していた部分を、最終的な値勾配にフロー時間の長さだけを掛けるスカラー値に置き換えました。例えば、重い荷物を階段で一つずつ運ぶ代わりに、エレベーターで一気に下ろすようなイメージです。
エレベーターで一気に運べるようになったんですね。でも、それだと精度が落ちたりしませんか?
逆に、ポリシーが生成した行動における critic の値を制御することが重要になることが分かりました。そこで、その行動に対して値ペナルティを課す形で SQAM を構成しました。OGBench の最も難しい 4 領域では、最強のベースラインを 18 から 35 パーセントポイント上回る成功率を記録しています。
18 から 35 パーセントポイントも伸びたんですか。数値は確かに大きいですね。では、実際のロボットでも試したんですか?
はい。実機の両腕ロボットで、ビジョン言語アクションポリシーを fine-tuning しました。SQAM は教師あり fine-tuning を全 3 タスクで上回っています。
両腕ロボットで 3 つのタスク全部で勝ったんですか。現場で使う技術者から見ると、既存のフローポリシーの書き換えは簡単ですか?
スカラーadjointと値ペナルティを組み合わせたSQAMは、OGBenchの難しい4領域で最も強いベースラインを18から35ポイント上回り、policy生成行動でのcriticの値制御が特に重要だと分かりました。
重み調整はまだ不明なんですね。最後に、この手法が実用化される見通しはどのくらい先ですか?
実機の二腕ロボットでも、教師あり微調整より性能が上がることを確かめています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文