Agentic RAGの評価では、質問数を増やす方が標準誤差を大きく下げられた。
この記事のポイント
- 検索コストの配分方法が不明確だった
- HotpotQAとMuSiQueで読み回数と質問数を比較
- コスト次第で最適解が変わる
どこで使えるか
RAG評価の設計を自前で進める人向け。質問数と読み回数のバランスをコストで選べる 論文の記載のみ。ツール公開はなし HotpotQA/MuSiQue限定の評価結果
スポンサーリンク
解説
かみくだいて説明します
arXivに論文が公開されました。AIが情報を検索して回答するRAGの予算配分を測定した結果、34.14から34.39Mのモデルトークンを使う場合、質問数を増やすことで標準誤差を、読み返し5回に対して33%、検索パス3つに対して12.6%下げられます。
質問数を増やす方が効率が良いんですか? 検索パスや読み返しを減らす代わりに、精度は保てるんですか?
精度はほぼ同等です。温度をゼロに設定するというのは、料理で火加減を常に一定に保つようなものです。回答の食い違いが14.3%から3.4%に減りながら、比較精度は変わりません。検索コストが1,000リクエストあたり0から1ドルの範囲なら、検索パスより質問数を増やす方がコスト対効果が高いという試算も出ています。
精度は変わらないんですね。では、予算の配分を事前に当てる精度はどうなっていますか?
過去のデータを使った予測モデルでは、4.0%と3.5%の範囲内で配分を当てられています。ただ、検索パスが2つの場合を超えると、それ以上の深さで予測に有利な傾向は確認できていません。1回だけの読み返しで最適値から外れる誤差は0から9.9%ですが、その不確実性は依然として大きいままです。
不確実性が大きいというのは、現場で組み込むときに困る点ですね。使う側からすると、どのデータセットで測った結果なのか気になります。
HotpotQAとMuSiQueの2つのデータセットで検証しています。使っている道具のどこが変わるかというと、予算をどう回すかの判断基準が数値で示されたことです。いま困っている検索パスの無駄遣いを減らし、同じトークン数でより多くの質問に対応できるように設計できます。
温度ゼロは火加減を一定に保つようなものなんですね。技術者が毎回手動で設定する必要があるんですか?
設定値としてシステム側に渡すだけです。温度が0のときだけ回答のブレが抑えられるので、評価実験を回すときの定石として組み込む形になります。ここまでの結果で気になるのは、質問数と読み返し回数の費用対効果の順位がまだ決まっていない点です。
最後に、この評価方法が他のRAGシステムにもそのまま使える見通しはどうですか?
評価予算の配分枠組み自体は汎用性が高いですが、具体的な費用対効果の順位や不確実性の範囲は、使うモデルやデータによって変わります。そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Agentic RAG Evaluation: Budget Allocation Across Questions, Trajectories, and Reads
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。