政府機関の報告書から質問に答えるGeopoliticalQA、415の文書でRAGの精度を測る話

論文

政府機関の報告書から質問に答えるGeopoliticalQA、415の文書でRAGの精度を測る話

スポンサーリンク

GeopoliticalQAが公開。415文書5,525問でRAGを評価し、推論系質問の生成がまだ難しいと分かった

この記事のポイント

  • 複雑な報告書のQAが難しかった
  • 415レポート5525問のベンチマークを作成
  • bge-m3が商用APIを上回るも推論は厳しい

数字で見る

この記事に出てくる数字

レポート数 415
QAペア数 5,525

どこで使えるか

地政学レポートのRAGを自前で構築する人向け。商用APIより小型モデルが retrieval で上回る arxivで論文公開済み ベンチマークデータは論文付属

スポンサーリンク

解説

かみくだいて説明します

Veronika Solopovaらの研究チームが、地政学や戦略の専門レポートを相手にする質問応答の benchmark を公開しました。415本のレポートから、およそ5,525組の質問と答えのペアを作り、15の検索システムと6つのオープンな大規模言語モデルで評価しています。
専門家のレポートを相手にするんですね。検索して答えを出す部分と、答えを文章で書く部分で、どこに違いが出るんですか。
検索部分と文章作成部分で、求められる難しさが分かれます。レポート全体から必要な一文を見つける全文レベルの検索では、どのモデルも似たような結果を出しますが、一文を細かく切り取った部分レベルの検索になると、モデルの規模が大きいほど良くなるわけではありません。本を一冊単位で探すのと、中身のページを指定して探すのとでは、求められる精度が違います。
大きいモデルじゃなくてもいいんですね。具体的にどれくらいの差が出るんですか。
チャンクレベルの検索では、中規模のオープンなbge-m3というモデルが、10倍大きいモデルと同等の結果を出し、商用の埋め込みAPIよりも上回りました。
切り取る設計が重要だと。では、答えを文章で書く生成の部分はどうでしたか。
正解の証拠となる文章を渡した上でも、文章の生成は難しいままです。特に推測を問う問題やリスクを問う問題で、モデルが正確に答えをまとめきれない傾向が強かったです。
証拠を渡しても難しいと。専門家がチェックした上で、どこがまだ解けていないんですか。
専門家がチェックした上で、レポートの意図を読み取る推論問題やリスク指向の質問では、証拠を渡しても回答生成がまだ難しいとされています。
意図を読み取る部分が弱いと。現場で使う場合、どのくらいの割合で手直しが必要になるんですか。
そこはまだ分かっていません。評価では推論問題でエラーが集中していることだけ確認できています。
手直しの割合はまだ不明だと。では、次のステップとして何を改善する予定ですか。
品質検証には専門家による注釈とLLM-as-judgeプロトコルを用い、15の検索システムと6つのLLMでRAGを評価しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文