Qwen3.5 3モデルで評価ケースを困難化する進化探索 HARDEN、実務ベンチの限界を検証

論文

Qwen3.5 3モデルで評価ケースを困難化する進化探索 HARDEN、実務ベンチの限界を検証

スポンサーリンク

HARDENが Qwen3.5 3モデルで評価ケースを困難化し、正答率が下がった

この記事のポイント

  • 既存ベンチが企業実装の複雑さを過小評価
  • 制約付き進化探索で評価ケースを難化
  • 3モデルで平均22.7%精度低下

数字で見る

この記事に出てくる数字

精度低下 22.7%
最大低下 49.9%
モデル規模 397B-A17B

どこで使えるか

評価ケースの難易度を上げたい人向け。正答率を最大49.9%引き下げ可能 arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

LLMのベンチマークって、結局楽な問題ばかり解かせて精度を誇示していませんか?
確かにその通りです。企業導入時の複雑さとは乖離した、洗練されたデータセットで評価されているのが現状です。
だとすると、本当の難易度を測る手段が欲しいですよね。
実務の複雑さを十分に反映していない既存のベンチマークは、問題文や正解をそのまま使ったままでは、本当の難易度を測れません。
arXivに公開されたHARDENという手法が、その課題を解決する試みです。進化検索を用いて、正解を固定したまま問題文を劇的に難しくするアプローチです。
そのアプローチって、具体的にはどういう仕組みなんですか?
ドメイン固有の複雑さの軸に沿って問題を変異させつつ、タスクの意味や実行可能性を制約条件として守ります。正解を壊さずに難易度だけ上げる仕組みです。
確かに理に叶っていますね!
実行-validityや現実味を担保するチェック関数を組み合わせている点がポイントです。
実際の効果はどれくらいあるんですか?
FinQAやPubMedQA、ContractNLIでQwen3.5の3つのモデルスケールで検証した結果、平均で22.7%の精度低下を記録しました。
既存の手法と比べるとどうなりますか?
単一パスのベースラインと比較すると最大49.9%もの精度差が開きます。進化検索が有効な評価ケースを生成できることを数値で示しています。
でも、特定のベンチマークに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。進化検索で生成された評価ケースが、実務の複雑さをよりよく反映していることは、FinQAやPubMedQA、ContractNLIで平均22.7%の精度低下を確認できました。
自分で試す方法はありますか?
進化探索で評価ケースを自動生成し、タスクとモデルの精度を大幅に低下させる手法です。
3つのベンチマークと3つのモデルスケールで平均22.7%の精度低下を確認しました。
進化的探索で実用的な厳密な評価が可能だと示されました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文