ISO 26262 に基づく自動車リスク評価を LLM にやらせる SAFARI、9 つのモデルで精度を測った話

論文

ISO 26262 に基づく自動車リスク評価を LLM にやらせる SAFARI、9 つのモデルで精度を測った話

スポンサーリンク

SAFARIは、自動車リスク評価で LLM の精度がまだ低いことを示した

この記事のポイント

  • ISO26262準拠の自動HARAベンチ
  • 9模型で開問解析とリスク評価を測定
  • 最高F1は0.261で分類は弱い

数字で見る

この記事に出てくる数字

評価ケース数 3,000
最高F1スコア 0.261
評価モデル数 9

どこで使えるか

機能安全のHARAを自前で実施する人向け。LLM活用時の見極めが要る GitHubで公開済み ISO 26262基準のリスク分類は困難

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Chenxi Wuらの研究チームが、arXivにSAFARIというベンチマークを発表しました。自動車業界の安全基準ISO 26262に沿った、ハザード分析とリスク評価をLLMで支援する初の産業向けデータセットです。
自動車業界の安全基準に合わせたデータなんですね。中身はどれくらいの量があるんですか。
3,000件の実務で使われたハザード分析のケースが入っています。開示を避けた個人情報は伏せてあります。
3,000件で評価するんですね。評価する項目は具体的に何があるんですか。
2つあります。1つは自由な文章でハザードを挙げる分析、もう1つは基準に沿ってリスクの等級を付ける評価です。評価の等級というのは、ISO 26262で定めるASILという安全度合いの分類で、事故が起きたときの深刻さや避けやすさ、頻度を組み合わせてAからDまで4段階に区切るものです。
事故の深刻さや避けやすさで4段階に分けるんですね。そこがまだ掴めません。もっと身近なもので言うとどうなるんですか。
正確には、車のブレーキが突然効かなくなった場合を想像してください。ブレーキが効かなくても、ハンドルで障害物をよけられれば等級は低くなります。よけられなければ等級が上がります。このように、回避できるかどうかで判断します。
回避できるかで等級が決まるんですね。実際にLLMにやらせて、どれくらい正確だったんですか。
9つの最先端モデルで試しました。最善のモデルでもASILの分類精度を示すmacro-F1は0.261でした。macro-F1というのは、各等級ごとの正答率を平等に足して平均した数字で、数字が1に近づくほど正確な分類ができていることになります。
0.261だと分類はまだまだ不十分なんですね。プロンプトの工夫では改善しなかったんですか。
Chain-of-Thoughtという、思考過程を段階的に書く指示を出しましたが、限られた効果で、むしろ等級の判断を悪くするケースが多かったです。
段階的に考えさせる指示が逆効果だったんですか。失敗する理由はどこにあったんですか。
分析の部分ではシナリオの重要な文脈を省略してしまい、評価の部分では事故を回避できるかどうかの見通しを誤っていました。専門家のチェックは、文脈の抜け漏れと回避可能性の判断に集中すべきです。
データセットは公開されるんですか。
GitHubで公開されています。ただし、基準に沿った等級分類はまだ精度が低く、実務でそのまま使うには専門家の検証が必須です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文