データと行動方針を共進化させるCoDA、ロボット操作の失敗を減らす話

論文

データと行動方針を共進化させるCoDA、ロボット操作の失敗を減らす話

スポンサーリンク

CoDAが、15 回で指示の読み替えに強いロボット操作の成功率を 76% に引き上げた

この記事のポイント

  • 物理的に正しい環境が訓練に有用かは不明
  • 診断を生成・訓練プログラムに翻訳して共進化
  • 4タスク族でOOD成功率が大幅に向上

数字で見る

この記事に出てくる数字

OoS成功率 5.3%→27.6%
位置擾乱成功率 25%→84%
指示擾乱成功率 1%→76%

どこで使えるか

ロボット操作のポリシーを自前で組む人向け。位置・指示の読み替えでも成功率を大幅に向上。 arXivで公開済み LIBERO-Proで15ラウンド

スポンサーリンク

解説

かみくだいて説明します

Tianjiao Yuらの研究チームが、ロボットがタスクを失敗した原因を自動で診断し、それを元に訓練環境を改善するフレームワーク CoDA を発表しました。4つの作業タスクで成功率が 5.3% から 27.6% に向上し、同じ生成予算の中で最も強い既存手法を 9.5 ポイント上回る結果です。
失敗した原因を診断して環境を直すんですね。では、作る人から見ると、この CoDA は今現場で使われている手法を置き換える話ですか、それともまだ先の話ですか。
生成された環境とロボットの行動方針が互いに影響を与えながら同時に改善される仕組みで、手動で一つ一つ環境を作り直す手間が大幅に減ります。
互いに影響を与えながら同時に改善される。では、その診断部分は具体的にどうやっているんですか。
画像と言葉を理解する判定モデルがロボットの失敗を分析し、その結果を生成プログラムと訓練プログラムに自動的に変換します。生成プログラムは失敗した場面をもう一度作り出し、訓練プログラムはその場面を乗り越える練習問題を出します。
失敗の場面を自動で作って、乗り越える練習を出す。そこがまだ掴めません。判定モデルがどうやって失敗を数値化しているんですか。
判定モデルは失敗の原因を段階的なポテンシャルという形で数値化します。例えば坂道を登るタスクなら、登りにくい角度ごとに重みを付けて、ロボットがどの位置でつまずきやすいかを細かく指示します。標準的な形での最適解は変えずに、途中の練習だけ重みを掛けるイメージです。
坂道の角度ごとに重みを付けて練習を出す。では、研究する人から見ると、これまでに何ができていなかったんですか。
従来は物理法則に従った環境なら自動で作れましたが、それが必ずしも訓練に役立つかは分からなかった点です。CoDA はロボットの失敗を直接ターゲットに環境を生成するので、無駄な場面を減らして効率的に学習を進められます。
無駄な場面を減らして効率的に学習を進める。では、数値でどれくらい変わるんですか。
複雑なタスク集合 LIBERO-Pro では、15 回の生成と訓練を繰り返すことで、位置のズレがある条件で 25% から 84% 、指示のズレがある条件で 1% から 76% まで成功率が上がります。
15 回の生成と訓練で 84% まで上がるんですね。最後に、この CoDA の次の展開はどのようになりますか。
学習の進捗が生成を導く仕組みなので、4つの操作タスクファミリーで外れ値成功が大幅に向上し、LIBERO-Proでも位置や指示の摂動下で成功率が向上します。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文