X-AgentRed、サービス間の連携で有害な行動を探索する手法

論文

X-AgentRed、サービス間の連携で有害な行動を探索する手法

スポンサーリンク

X-AgentRedが、サービス間の連携で有害な行動をより多く発見した。

この記事のポイント

  • 既存手法は既知の組み合わせに偏る
  • ツール依存グラフと実行フィードバックで探索
  • 4モデルでより多様なツールを網羅

どこで使えるか

サービス連携で有害な行動を網羅したい人向け。既存手法の偏りを解消し、多様なツール組み合わせを自動探索 コードの公開は記載なし 4つのモデルで評価済み

スポンサーリンク

解説

かみくだいて説明します

Yeonsung Jungらの研究チームが10月10日にarXivへX-AgentRedというフレームワークの論文を提出しました。個人が使うAIアシスタントが複数のアプリやウェブサービスを連携して動く際、意図しない有害な結果を生む経路を、実行結果を元に自ら発見して改良していく手法です。
動かしながら見つけるんですね。では、何が要るんですか。
各ツールが持つ効果や実行に必要な条件を分析して、片方の結果がもう片方の条件を満たす関係を結びます。そこから現実のシナリオに近い組み合わせを抽出し、実際に実行した結果が成功したか失敗したかという返答で、経路のバリエーションを広げていきます。
失敗した結果も次に生かすわけですね。これまでの手法と比べてどこが新しいんですか。
従来の手法は学習データで覚えたパターンに偏りやすく、馴染みのあるツールの組み合わせばかりを試していました。今回提案する手法は、グラフから新しい経路を次々と生み出すため、4つの最先端モデルで試した結果、有害な経路の発見率が既存のSTACという手法のおよそ1.77倍、カバーするツールの数ではおよそ2.99倍になりました。
1.77倍と2.99倍、確かに広がりますね。改良する仕組みはどうなっていますか。
実行時に途中で止まったステップでは、必要な条件を微調整して再試行します。また、使ったツールを別のツールに置き換えるツール置換という手法で、同じ目的に向かう別の経路を探索します。
条件を直して差し替えるわけですね。ツール置換がまだ分かりません。やさしく言い直せますか。
具体的には、Aというアプリの機能を代わりに使えるBというアプリを探し、経路の途中に差し込む作業です。例えば、地図アプリで経路を調べるところを、メッセージアプリの検索機能で代用するイメージです。
途中に組み込むんですね。開発側は公開されているんですか。
論文には手法の詳細と評価結果が記載されていますが、コードやモデルそのものの公開については、そこはまだ分かっていません。
不明なんですね。普及する上で何が解けていないんですか。
複数のサービスをまたぐ組み合わせを網羅的に探す仕組みは完成しましたが、実用レベルまで計算量を減らす手法については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文