SimVTAが運転モデルの計画性能を PDMS 5.1 点上昇させた
この記事のポイント
- 記録された経路の未来動画しか得られず
- 3DGS再構築シーンでシミュレータ動画を作成
- シミュレータ呼び出しなしで推論可能
数字で見る
この記事に出てくる数字
| PDMS向上 | +5.1 |
|---|
どこで使えるか
シミュ動画で視覚監督を得て計画を改善したい人向け。推論時はシミュ不要 arxivで公開済み NAVSIM v1/v2とHUGSIMで評価
スポンサーリンク
解説
かみくだいて説明します
Changhui Jingらの研究チームが、自動運転のAIが未来の映像から学ぶ手法「SimVTA」を発表しました。既存のモデルは強化学習で別のルートを探せますが、実際の走行記録には記録されたルート以外の未来映像がなく、学習が止まっていた問題を解決します。
記録されたルート以外の映像がないから、AIが別の道を試すときに視覚的な正解が見えなくなるんですね。では、このSimVTAは現場の技術者がすぐに組み込めるものですか。
推論の段階ではシミュレータを呼ばずに直接経路を予測するので、実装の手間は増えません。学習時の話ですが、3D Gaussian Splattingという技術で実際の街並みを三次元データとして再構築し、その中に候補となる経路を複数置きます。まるで実物の街をガラス張りの模型に置き換えて、その中を複数の車が走っている様子をシミュレータで描画するようなイメージです。
実物の街を模型にして、中で複数の車が走る様子を動画で撮るんですね。では、描画には時間がかかりますか。
描画の予算は限られているので、報酬が高い候補の中でも特に予測が外れやすい未来の映像を優先的に生成します。報酬が高い経路をいくつか並べて、その中でAIが最も間違えそうな部分の映像だけを描画し、それを正解データとして使う仕組みです。
間違いやすい映像だけ重点的に作って、それを正解として教えるんですね。では、経路の計画をどう更新するんですか。
Group Relative Policy Optimizationという手法で経路の計画を最適化し、対応する映像に対してflow-matching lossという損失関数を適用して共有表現を更新します。まるで複数の進路を並べて、どれが最も目標から外れているかをチェックしながら、運転手の勘を鍛えるような作業です。
複数の進路を並べて外れをチェックしながら、モデルの勘を鍛えるんですね。研究している人から見ると、どこが新しいんですか。
従来の手法はモデル自身の予測に依存していましたが、SimVTAはシミュレータが生成した映像を独立した正解として使う点が異なります。NAVSIM v1のベンチマークではPDMSという指標が86.2から91.3に上がり、5.1ポイントの改善を確認しました。NAVSIM v2では88.2のEPDMSを記録し、HUGSIMでの閉ループ評価ではHD-Scoreが平均38.8を達成しています。
シミュレータが作る映像を正解にするのがポイントで、指標が5.1ポイントも上がったんですね。では、この手法は他の自動運転モデルにも応用できますか。
論文ではWAMという特定のモデルに適用した結果だけを報告していて、NAVSIMv1でのPDMSが86.2から91.3に上がったと述べています。
応用できるかはまだ不明で、映像で教えるという発想自体は他のモデルにも使えそうですね。最後に、今後どのような展開が予想されますか。
シミュレータを使わずに直接経路を予測する推論時の速さが次のポイントです。3DGSで再構築した実世界シーンでレンダリングした映像を、予測と答え合わせする教師データとして使う仕組みを見ていきます。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。