PPFGはQwen2.5-7Bで性能向上を確認できず。
この記事のポイント
- PRM刈り取りフラグメント移植の有効性が不明
- Qwen2.5-7Bで500件、3モデル6ベンチで検証
- 有意差なし。14%のみ対象。限界は補償なし
数字で見る
この記事に出てくる数字
| 注入イベント数 | 322 |
|---|---|
| ランダム制御比 | 2.4倍 |
どこで使えるか
推論時の介入手法を検証する人向け。同等性の証明に使える。 arXivで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Khawaja Murad ul HassanさんとMehran EbrahimiさんがarXivに発表した論文です。大規模言語モデルが数学の問題を解くとき、途中で間違えた答えを切り捨てて、別のモデルにその途中までの答えをコピーする手法を試したところ、性能が全く上がらないことを突き止めました。MATH500という500問のテストで、3つの異なるモデルを使って検証した結果です。
途中までの答えをコピーするだけで、なぜ効果がないんですか?
切り捨てられる瞬間を分析したところ、322回のうち14回しか本当に躓いているモデルに刺さっていなかったからです。残りはすでに正解にたどり着いていたか、あと少しで終わるか、スコアが頭打ちになっている状態でした。頭打ちの答えに新しい途中経過を差し込んでも、モデルは変わらないままです。
では、この仕組みを作る側から見ると、どこが問題だったんですか?
タイミングを細かく選別する仕組みを試したところ、ランダムに選んだ場合と同じ精度にしかならず、むしろ2.4倍多く切り捨てる必要が出てきました。仕組みの問題ではなく、この手法自体が元々持っていない能力を補えないということです。
研究している人から見ると、どこが新しいんですか?
手法そのものの改良ではなく、検証の仕方です。従来の論文では少しだけ良くなったと報告される場合でも、今回は統計的な検定で差がないことを証明する枠組みを提供しました。Qwen2.5-7B-InstructとLLaMAシリーズの12の組み合わせすべてで差がないことを示し、仮に最も恵まれた条件を選んでも100問中1問未満の差しか上がらない上限も算出しています。
100問中1問未満というのは、具体的にどれくらいの差なんですか?
正確には0.13ポイントです。実用上は誤差の範囲で、この手法を使う意味がないことを数字で示しています。
では、この検証の枠組みを使う側から見ると、どう役立てるんですか?
使えます。今回の論文では、新しい手法が本当に効果があるかを決める基準を示し、実際にある手法を試すと既存のやり方と差がないとわかったそうです。
最後に、この手法はもう完全に使われないんですか?
条件を変えれば違う結果が出る可能性があります。今回試したのは3つのモデルと6つのテストだけで、より条件が変わった場面ではまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。