LLM エージェントの耐性を測る AgentPerturb、操作の乱れに対する検証

論文

LLM エージェントの耐性を測る AgentPerturb、操作の乱れに対する検証

スポンサーリンク

AgentPerturb による検証で、操作の乱れに耐えられず性能が低下し、修正情報の伝播や検証不足が判明した。

この記事のポイント

  • 擾乱対象と種類の枠組みがなかった
  • APEX-AgentsとToolathlonで統一的に評価
  • 性能低下するが、環境で脆弱性は異なる

どこで使えるか

エージェントのロバスト性を評価したい人向け。統一的な枠組みで脆弱性を特定 GitHubで公開予定

スポンサーリンク

解説

かみくだいて説明します

Yuanjian Xu たちの研究チームが、人工知能がタスクをこなす手順を意図的に乱す「AgentPerturb」という評価手法を発表しました。テスト環境には APEX-Agents と Toolathlon を使い、2 次元の視点で統一して測定した結果、最先端のモデルは性能が低下したということです。
意図的に乱す、ということですが、実際に手を加えるのはどの部分なんですか?
人工知能が外部の道具を呼び出す手順や、やり取りの途中の文章です。摂動という専門用語を使いますが、注文の伝票に書かれた品番を別の数字に書き換えるようなイメージで、モデルがそれに気づかずに次の指示を出してしまうのを観測します。
摂動という専門用語がまだ掴めません。もう少しやさしく言うとどうなりますか?
正確には、作業の手順書にわざと誤字を混ぜるようなものです。人工知能がその誤りに気づかずに、間違った情報を次の工程へそのまま渡してしまうのを測るテストです。
気づかずに間違った情報を渡す、ということは検証をしないまま進んでしまうわけですね。
経路を追った分析では、入力が変えられたことに気づくケースはほとんどなく、誤った情報を検証もせずそのまま流す傾向が強く出ました。
では、検証をしないまま進めると、計算のリソースはどれくらい消費するんですか?
成功した改ざんの経路では、通常の作業と比べて計算量が大幅に増える結果が出ました。正確な倍率はそこはまだ分かっていません。リソースの消費が大幅に増えるという点は確かです。
計算量が増えるのは困りますね。この乱れに強いモデルを作るには、具体的にどう訓練すればいいんですか?
多様なノイズを訓練データに混ぜ込み、検証する行為や、自分の答えに確信が持てない時の扱い、そして間違いから回復する手順を報酬で評価する方向です。評価手法の構築パイプラインも公開しています。
報酬で評価する、というのは、正解を出した時だけでなく、途中で間違えた時の対応も点数になるということですか。
そうです。正解への到達だけでなく、途中で不確実性を認識し、軌道修正する能力も評価します。
実務で使う人工知能の信頼性に関わる話ですね。最後に、この評価手法は他のテストと比べてどこが違いますか。
乱す対象と手法を 2 次元で整理した点が異なります。これまでは個別にテストしていた部分を 1 つの枠組みで測定し、モデルごとの得手不得手を明確に区別できるようになったということです。
得手不得手が見えるようになれば、現場での使い分けも明確になりますね。
設計上の弱点を事前に把握できるようになるため、訓練の方向性を絞るのに役立ちます。さらに、多様なノイズをカバーする訓練目標や、検証・不確実性意識・回復を促進する報酬設計が重要であることが示されています。
あわせて、先月にはLLMエージェントが対話・問題解決中に受ける摂動に対する堅牢性を評価する別の研究も出ています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文