環境の元に戻せなささを連続値で制御する REVERSAL-BENCH、自律学習の限界を調べる話

論文

環境の元に戻せなささを連続値で制御する REVERSAL-BENCH、自律学習の限界を調べる話

スポンサーリンク

REVERSAL-BENCHが、環境の元に戻せなささを連続値で制御するリセットフリー学習の限界を明らかにした

この記事のポイント

  • 環境の戻せなさを連続パラメータで制御
  • リセットなしエージェントが不回復状態に陥る
  • 安全シールドは物理的に回避できた場合のみ成功

数字で見る

この記事に出てくる数字

物理エンジン数 5
設定数 8

どこで使えるか

ベンチマークとデータセットを公開済み 5つの物理エンジンで8設定の評価

スポンサーリンク

解説

かみくだいて説明します

Riyaaz ShaikさんとChandru Venkataramanさんが、自律型強化学習の訓練を外部リセットなしで続けるためのベンチマーク、REVERSAL-BENCHを公開しました。
外部リセットなしで訓練するんですか。戻せなくなると、そこで学習が止まるんですか。
はい。リセットがない分、一度戻せない状態に入ると永久にその場に留まることになります。8つの操作設定を5つの物理エンジンで試し、環境の戻しやすさを0から1の連続値で制御できる軸と、状態が元に戻せるか判定するリセットオラクルを用意しています。研究チームが様々な学習手法を評価したところ、戻しやすさの値を上げるにつれて、リセットなしの手法は急激に学習が破綻する現象が見つかりました。まるで坂道を下って急に谷底に落ちるように、学習が止まってしまうのです。一方、毎回初期状態に戻すタイプの手法は、値が上がっても安定して学習を続けています。
既存手法は環境の可逆性に依存しており、現実の作業にはその可逆性がないことが問題です。
その通りです。机から物を落としたり、粉体をこぼしたりする作業は現実には元に戻せませんが、従来の環境はすべて戻せるように設計されていました。このベンチマークでは、戻せない環境でも安全に試せるように、状態が元に戻せるかどうかを事前に判定するリセットオラクルを組み込んでいます。
状態が元に戻せるかどうかを事前に判定するんですか。
はい。リセットオラクルは、その瞬間の状態が戻せるか戻せないかを辞書で意味を引くように一覧で照合する仕組みです。一方、安全装置は、戻せない失敗が起きる前に学習を止める働きをします。研究チームが安全装置を試したところ、戻せない状態を正確に予測できているものの、実際に介入して回避できるのは、学習するプログラムが物理的にその場を避けられる場合に限られていました。
物理的に避けられない場合も、同じように学習が止まってしまうんですね。
回避が物理的に難しい場面では、安全装置を入れても学習の破綻を防げない結果になっています。この崖は障害物の複雑さではなく、環境そのものが戻せないことに原因があることを、戻せる版と戻せない版を幾何学的に同じ形で作って確認しています。
戻せる版と戻せない版を同じ形で作るんですか。確かに、形が違っていると原因が分かりませんね。
はい。形や配置を完全に揃えた上で、戻せるかどうかだけを切り替えることで、学習が破綻する原因が確かに戻せない性質そのものだと証明できました。データセットには、複数のシミュレーターで得た大量のデータを戻せるかどうかのラベル付きで公開しています。
公開されたデータセットは、開発者が自分の環境に組み込むときに使えるんですか。
公開されたデータセットには戻せるかどうかのラベルが付き、ベンチマークのコード一式も同時に公開されています。また、非可逆性による吸収現象が障害の複雑さではなく因果的に駆動されていることを確認しています。
最後に、このベンチマークで測った場合、実機のロボットにそのまま適用できる見通しは立っていますか。
実機での動作確認はまだですが、シミュレーション内での再帰可能性の予測は正確にできている見通しはあります。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文