Qwen2.5-7B-Instructで長文QAの精度を測る計画手法の比較

論文

Qwen2.5-7B-Instructで長文QAの精度を測る計画手法の比較

スポンサーリンク

Qwen2.5-7B-Instructで長文QAの精度を測ると、計画手法は強い検索手法に勝てなかった。

この記事のポイント

  • 計画が強い検索に勝てない理由が不明
  • 503問で計画・検索・再ランクを比較
  • 計画は弱いシグナル。ただし検索には劣る

数字で見る

この記事に出てくる数字

テスト分割精度 42.11%

どこで使えるか

強い検索で精度を上げている人向け。計画手法の代替にはならない arXivで論文公開済み

スポンサーリンク

解説

かみくだいて説明します

長文コンテキストのLLMって、私たちが扱う情報が多すぎると肝心な部分を見失いますよね?
確かにその通りです。コンテキストウィンドウが拡張されるほど、ノイズに埋もれる重要な情報が問題になります。
取得した文章をそのまま流し込むだけでは、精度が36%前後で頭打ちになりませんか?
確かに、取得した断片を整理する段階が弱いと、モデルの推論能力が十分に発揮されません。
今回arXivに公開された研究では、回答する前に学習済みプランナーが証拠となる断片を事前選択する手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
プランナーはSFTで学習され、入力文から関連性の高いスニペットをスコアリングして優先順位をつけます。まるで図書館司書が膨大な蔵書から該当ページだけを取り出すようなイメージです。
なるほど!事前にフィルタリングしてからLLMに渡すんですね!
実際の精度向上はどれくらい期待できるんですか?
18,000文字の予算で評価したところ、アンカー付きハイブリッド検索が36.18%、BM25が35.98%に対し、プランナー最良手法は34.19%にとどまりました。
検索手法の方が高いんですか?
その通りです。未見の152問テストセットでもハイブリッド検索が42.11%を記録し、プランナーは36.84%でした。6,000予算では0.40ポイント差ですが、9,000では逆転しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
仰る通りです。プランナーは強固な検索基盤の代わりにはなれず、弱い関連性信号に留まります。設計コストと予算依存性は避けられません。
実際の試し方はどうすればいいんですか?
503問のLongBench-v2のMCQを使って、Qwen2.5-7B-Instructで評価しました。
学習型プランニングは強力な検索の代替ではなく、弱い関連性シグナルです。
確かに!学習型プランニングは強力な検索の代替ではなく、弱い関連性シグナルです。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文