Odyssey、長距離運転の閉ループ評価を100シナリオで測定する話

論文

Odyssey、長距離運転の閉ループ評価を100シナリオで測定する話

スポンサーリンク

Odysseyが、100 シナリオで長距離運転の閉ループ評価を可能にした。

この記事のポイント

  • 短区間評価で後の結果が測れず
  • 100シナリオでSDマップ経路を提示
  • VLA含む最先端が最高だが、課題あり

数字で見る

この記事に出てくる数字

シナリオ数 100
ログ秒数 100秒

どこで使えるか

長距離運転の閉ループ評価を自前で構築したい人向け。SDマップ経路と3DGS描画の組み込みが要る コード公開予定(論文記載) ベースラインモデルの適応版も公開

スポンサーリンク

解説

かみくだいて説明します

Jungho Kimらの研究チームが、自動運転の評価を目的とした「Odyssey」を公開しました。短い区間しか検証できなかった従来の手法に代わり、100秒間の走行ログを基に作り直した100のシナリオで、長い時間の運転を連続して評価できるようにしました。
100秒間のログを100個も集めたんですね!従来の評価と比べて、どこが特に変わるんですか?
従来は方向指示のような曖昧な命令で評価していたため、実際のナビゲーションの目的が分かりにくい部分がありました。Odysseyでは標準的なSDマップの経路を明確に示すことで目標を固定し、センサーで判断する局所的な操作とは役割を分けています。さらに、3DGSという手法で描画した画像に拡散モデルと呼ばれる技術でノイズを消す処理を加えています。例えば写真のフィルターで荒れた部分を滑らかに整えるように、車両が動く軌跡に沿って生じやすい描画の乱れを減らしています。
目標を固定して役割を分けた上で、実際にその経路を正確に走れているかをどう測るんですか?
経路遵守率と、車線変更の直前にどれだけ準備ができているかを測るスコア、それに経路から外れたり準備が足りなかったりした時に減点されるRouteDSという総合スコアを設けました。これらを基に、視覚と言語と操作を結びつけるVLAモデルを含む最新のプランナーを評価した結果、経路の表現方法と統合の仕方にまだ課題が残っていることが浮かび上がりました。
VLAモデルは言葉を理解して運転操作に結びつける仕組みですよね!それを自動運転の評価に使う場合、現場のエンジニアが実際に動かすのは難しいんですか?
評価に用いたモデルの詳細な動作条件や、手元で動かすのに必要な環境については、そこはまだ分かっていません。ただ、コードと適応したベースラインは公開される予定ですので、技術者側が自分で検証を進められる形になります。
では、コードが公開されることで検証が進められるんですか!技術者が検証を始める際に何が揃えばいいんですか。
公開される適応済みベースラインのおかげで経路の表し方やプランナーの組み込み方を比べやすくなりますが、Odysseyはそこに未解決の問いが残っていると指摘しています。
最後に、長い時間の運転を連続して測れる枠組みなんですね!このベンチマークが自動運転の開発に与える位置づけについて、一言いただけますか。
短い区間だけでなく、長い時間の運転における経路の追従と準備の質を同時に測れる枠組みとして、開発側の検証基準を一段階引き上げる役割を果たすことになります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文