SmolVLAのオンライン RL で、不確実性ゲート制御が全シードでタスク崩壊を防いだ
この記事のポイント
- オンラインRLで個別タスクが崩壊する
- タスクラベルなしで探索ノイズ制御
- 3シード全てで崩壊を防いだ
数字で見る
この記事に出てくる数字
| パラメータ数 | 450M |
|---|---|
| 反復同一率 | 96.02% |
| 反復数 | 3 |
どこで使えるか
タスク崩壊を避けてオンライン学習を安定させたい人向け。3シード全てで崩壊を防いだ arXivでツール公開済み 96.02%はfp32なしbfloat16限定
スポンサーリンク
解説
かみくだいて説明します
ロボットが現場で使いながら勝手に学習していく技術って、実際にはどんな感じなんですか?
確かにオンライン強化学習での継続更新は実現されていますが、その裏で個々のタスク能力が隠れて劣化するリスクがあります。
既存の手法だと、なぜその劣化を防げないんですか?
計算予算が限られた環境では、探索ノイズの制御が単純すぎるため、全体スコアは維持できても特定タスクが崩壊する現象が頻発します。
arXiv:2609.28838で公開された研究では、不確実性ゲート型探索ノイズ制御器がその課題に挑んでいます。
その制御器って、具体的にはどういう仕組みなんですか?
指揮者が各楽器の音量をリアルタイムで調整するイメージで、タスク非依存の新奇性信号と能力信号を使って探索量を動的に配分します。
タスクラベルなしで勝手に探索バランスを取れるんですね!
行動専門家パラメータが継続的に更新される一方、平均適用ノイズ量は固定スケールと同等に推移します。
具体的にどれくらいタスク崩壊が抑制されたんですか?
固定ノイズは3シード中2つで崩壊し、学習型ノイズは全シードで崩壊しましたが、制御器は3シード全てで崩壊を回避しました。bfloat16学習では行動専門家の要素の96.02%が3反復連続でビット同一性を保ち、fp32マスターコピー使用時は単一シードで両腕が崩壊します。
でも、タスク崩壊を防ぐだけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。全条件で行動克隆子ベースラインを上回る腕は存在せず、状態と時間の適応寄与を分離して検証できていないのが現状です。
実際の検証はどうやって行うんですか?
4つの定義に基づくタスク別崩壊計測ツールが公開されていますので、LIBERO-10環境でノイズ制御と計器のゼロ点調整を組み合わせて試してみてください。
LIBERO-10環境での検証結果が、安定した継続学習の設計指針としてVLA研究に貢献します。
タスク崩壊を抑制する手法が、3つのシードで一つも崩壊しませんでした。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。