her_mixが19中16の環境で性能を回復。放棄優先度マスは69%から6%に
この記事のポイント
- 4アルゴリズム×環境設定で後方リレーベリングが19/36で劣化
- APMで劣化を定量化しher_mixで優先度マスを69%から6%に削減
- 悪化した19環境のうち16が基準に戻り、改善した1環境も保った
数字で見る
この記事に出てくる数字
| 劣化設定数 | 19/36 |
|---|---|
| APM削減率 | 69%→6% |
| 相関係数 | ρ=-0.73 |
どこで使えるか
多目的強化学習で後から目標を書き換える手法を安全に組みたい人向け。 arXivで公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
強化学習で失敗した経験を後から上手に書き換えるハインダイトリレーベリングが注目されていますよね?
確かにその通りです。エージェントが実際に辿り着いた結果を目標値として再利用し、学習効率を上げる手法ですね。
私、複数の目標を同時に追うマルチオブジェクティブ強化学習に適用すると、なぜか逆効果になる場合があるんですか?
そうです。複数の目標方向の中からエージェントが実際に選んだ方向に書き換えると、学習が極端に偏ってしまいます。
arXivで公開された今回の論文では、この現象を定量的に解明し、対策を提示しています。
その現象って、具体的にはどういう仕組みなんですか?
何度も書き換えを繰り返すと、批評ネットワークの学習範囲がエージェントが訪れた狭い領域に収縮します。Preference Coverage Collapseと呼んでいます。
確かに!まるで地図の縮尺が勝手に狭められてしまうみたいですね!
実際の数値でどれくらい悪化するんですか?
36通りの組み合わせのうち19が最大で4標準偏差も悪化し、改善したのはたった1つだけでした。
対策を施したらどれくらい回復するんですか?
導入したher_mixという手法で、19のうち16を基準値まで回復させ、放棄割合を69パーセントから6パーセントに削減しています。
でも特定の環境に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。1つの固定値で全環境に対応するため、環境ごとの調整は不要です。
自分で試すときはどうすればいいんですか?
MO-Gymnasiumの連続制御タスクで、アルゴリズムと環境を19通り組み合わせ、2つのクリティックバックボーンと2つのサンプリングスキームで検証しました。
連続制御タスクのMO-Gymnasiumでは、19の環境設定で性能が低下しました。
19の環境設定で性能が低下しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。