信頼を測る EO エージェントの評価手法、危機対応での自律度を決める話

論文

信頼を測る EO エージェントの評価手法、危機対応での自律度を決める話

スポンサーリンク

自主的な判断を任せるには、まず信頼を測る必要がある。

この記事のポイント

  • 12件のベンチマークで信頼性不足
  • 信頼性に応じた自律性梯子を作成
  • 支援役割のみが正当化される

数字で見る

この記事に出てくる数字

タスク成功と正確さの差 54pp
Expert軌跡との差 7~56pp
Spearman相関係数 -0.25~0.50

どこで使えるか

自律性を段階的に与えたい人向け。信頼性を測る手順が要る 論文公開済み(arXiv) 実装コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Georgios Angelidisらの研究チームが、災害対応で使う人工知能の衛星画像解析システムについて、12のベンチマーク研究を分析した論文を公開しました。人工知能に判断を任せるのは、信頼が証明されてからにするべきだと結論づけています。
12の論文をまとめて調べたんですね。現場でシステムを組み立てている人から見ると、どのくらい自動で動かせる見込みがあるんですか。
結論から言うと、今の段階では補助的な役割だけが許容されるということです。12の論文のうち1つだけ実行の繰り返しがあり、3つに答えられない課題が含まれていましたが、予測の正確さを測る基準はどの論文も使っていませんでした。
予測の正確さを測っていないのは、使った側が困りそうです。同じ質問でも、人工知能がやった作業の成功率と、工具を正しく使えた成功率の差が54ポイント開くという話でしたか。
正確には54ポイントです。同じ問い合わせに対して、人工知能は作業を完了したと判定されるケースが、実際の工具呼び出しの正解率より大幅に上回るということです。つまり画面の上では成功しているように見えても、中身の処理は間違っている場合があるということです。
画面と実際の処理がずれていると、災害の現場では危険ですね。人工知能がどれくらい正確に動けるかは、自分で判断を拒否する頻度で見えるんですか。
残念ながら、能力の高さと断る頻度には関連が見られませんでした。能力が高いほど正確に断つわけでも、低いからといって頻繁に断つわけでもないということです。つまり、人工知能が静かに間違えたまま進んでいる可能性を、外から予測できないということです。
外から予測できないとなると、信頼をどう測るかが課題になりますね。論文では信頼を測る仕組みが3つ提案されていますが、具体的にはどのような内容ですか。
一つ目が画像解析特有の信頼プロパティ3つ、二つ目が災害対応のタスクに応じた段階的な自動運転の階段、三つ目が実際の運用前に過去の災害データでシミュレーションを繰り返す準備手順です。段階的な自動運転の階段とは、完全な自動運用を最初から認めるのではなく、小さなタスクから順に権限を上げていく仕組みです。
過去のデータで何度も練習してから本番に入るんですね。人工知能の判断と専門家の差が、作業の長さで7ポイントから56ポイントまで広がるという話でしたが、これは段階的な自動運転の階段と関係していますか。
関係しています。作業の手順が長くなるほど、人工知能の軌道と専門家の軌道の差が7ポイントから56ポイントまで開くということです。階段の低い段階では許容される精度も、段階が上がると厳しくなるため、長い手順のタスクほど段階を上げる判断を慎重に行う必要があります。
段階を上げる判断を慎重に行う必要があるんですね。では、実際の災害対応でこのシステムを使う場合、まず何から始めるべきですか。
過去の災害記録をアーカイブして、準備手順で繰り返し再生するところから始まります。現在の証拠が許容するのは支援的な役割だけです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文