自己運転車のポリシーを改善する教師付き学習 OPTED、シミュレータの負荷を減らす話

論文

自己運転車のポリシーを改善する教師付き学習 OPTED、シミュレータの負荷を減らす話

スポンサーリンク

OPTEDが、シミュレータの負荷を大幅に減らしながら運転ポリシーの性能を向上させた。

この記事のポイント

  • 閉ループでエラーが蓄積する
  • 教師に強化学習で教える
  • シミュ回数で3桁削減

数字で見る

この記事に出てくる数字

シミュレータ交互回数削減 3桁少

どこで使えるか

シミュレータ負荷を抑えたい人向け。教師モデルで強化学習を分離する GitHubプロジェクトページで公開 AlpaSimシミュレータと3DGS再構築が必要

スポンサーリンク

解説

かみくだいて説明します

Damiano Da Colらの研究チームが、自動運転の学習手法「OPTED」を発表しました。カメラ映像だけで走行を判断するモデルに、この手法を適用したところ、走行スコアが最大およそ9.5倍に向上しました。
9.5倍というのはかなり大きな数字ですね。既存の方法と比べて、どこが新しいんですか。
従来はシミュレーターの中で直接強化学習を行っていましたが、OPTEDは強化学習と本番の学習を分けました。マップのデータや物体の位置情報を扱う教師役のモデルを先に育てて、それを基に走行モデルを修正する仕組みです。
強化学習と教師役のモデル、この辺りの仕組みがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、テスト勉強の答え合わせをしてくれる先生を先に育てておくイメージです。先生が正解を教えながら、実際に車を運転するモデルだけを練習させるので、シミュレーターを回す回数を大幅に減らせます。
シミュレーターを回す回数が減るなら、開発の負担は確実に下がりますね。作る人から見ると、手元で動かすのに何が要りますか。
実車の走行記録を3DGSという3次元復元技術で再現したデータと、AlpaSimというシミュレーターを使います。TransFuserやVaVAMというカメラベースのモデル二つに適用した結果、従来の直接強化学習と比べて、シミュレーターとのやり取りがおよそ1000分の1で同等の性能を出しました。
1000分の1というのは圧倒的な効率アップですね。ただ、実際の道路の状況まで完璧に再現できているのかどうか気になります。
実車の走行記録を基に再現したデータを使っていますが、完全な実世界との一致についてはそこはまだ分かっていません。
人間の運転に近い状態を維持しつつ安全性を高める、確かに重要なバランスです。それはどう測ったんですか。
従来の手法だとシミュレーター上では速く走れても、人間の運転パターンから外れやすくなる傾向がありました。OPTEDは人間の運転データに近い状態を維持しつつ、安全性を高める修正を行えています。
実車への搭載時期については記載がないのですね。では、次は実用化に向けた次のステップの話でしょうか。
実車への搭載時期については、今回のお話には記載がありません。研究段階での検証を積み、今後どのように発展していくかを見守ることになります。
最後に、この手法が自動運転の研究全体に与える位置づけについて教えてください。
教師モデルがベクトル入力を用いて強化学習で訓練され、事前学習済みモデルに閉ループ推論で教示を行う点が位置づけです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文