LLM の検索語拡張で幻覚用語を減らす手法、追加用語の信頼性を測る話

論文

LLM の検索語拡張で幻覚用語を減らす手法、追加用語の信頼性を測る話

スポンサーリンク

SAFE-QEが、幻覚用語を減らしつつ検索精度を維持した

この記事のポイント

  • 幻覚用語を一律にフィルタしていた
  • 用語の再現性と網羅性でスコアリング
  • nDCG@10同等。ただし4.3対27.8

数字で見る

この記事に出てくる数字

不要項数 4.3
Query2doc不要 27.8
HyDE不要 57.5

どこで使えるか

幻覚用語の混入を減らしたい人向け。学習不要でモデルを選ばない arXivで公開済み 学習不要・リトリーバー非依存

スポンサーリンク

解説

かみくだいて説明します

Amit Kumar Jaiswalらの研究チームが、大規模言語モデルを使った検索語の拡張手法 SAFE-QE を arXiv に公開しました。この手法は拡張時に生じる幻覚的な用語を 1 件あたり 4.3 個に抑え、Query2doc の 27.8 個や HyDE の 57.5 個を大きく下回ります。
検索語を拡張する時に、モデルがでたらめな言葉を混ぜてしまうんですね。混ぜてしまうと検索結果にどんな影響が出るんですか?
存在しない用語や関係ない言葉が入ると、検索エンジンの評価指標 nDCG@10 の精度が下がり、強力な検索モデルの性能まで損なわれます。SAFE-QE は学習不要で、既存の検索モデルにそのまま組み込める仕組みです。
学習不要で既存のモデルにも使えるのは大きいですね。でたらめな言葉をどう見分けているんですか?
拡張候補の用語を複数の条件で作り直した検索文でも、同じ言葉が繰り返されるか調べます。疑似関連文書セットで根拠がないのに何度も出てくる言葉を幻覚と判定し、重みを下げるのです。
複数の条件で作り直した検索文で調べるんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
同じ質問を何度も違う言い回しで人に尋ねて、答えがぶれないか確認するイメージです。ぶれない言葉ほど信頼度が高く、幻覚と判定されにくい仕組みです。
違う言い方で聞いても答えがぶれなければ、それは信頼できる言葉だと見なすんですね。その見極めで、精度は落ちないんですか?
精度は他手法と統計的に差がない水準を維持しています。一方、関連文書が支えない用語の混入を計測する指標では、大幅に混入を減らせる結果が出ました。
精度を落とさずに混入を減らせるのは確かな成果ですね。この手法は実際に動くコードが公開されているんですか?
公開の有無については、そこはまだ分かっていません。
では、検索エンジンの開発現場で使う場合、組み込む手間はどうなるんですか?
学習不要で検索モデルに依存しない設計なので、既存の検索パイプラインの途中に差し込む形で導入できます。ただし、評価は TREC と BEIR というベンチマークコレクションで実施しており、他のデータセットでの振る舞いについてはそこはまだ分かっていません。
組み込むのは比較的簡単そうだと分かりますね。最後に、この手法の今後の展開について見通しはありますか?
TRECやBEIRのベンチマークで、生成系やコーパス誘導系とnDCG@10が統計的に差がないことを示し、サポートされない用語の混入を大幅に減らせることを実証しました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文