DF-Sampleが、強化学習なしで45.6%の精度を達成。
この記事のポイント
- 従来手法は局所的なステップ選択のみ
- DF-Sampleで経路全体を評価し選択
- GPQAで45.6%、3モデル4ベンチで上回る
数字で見る
この記事に出てくる数字
| GPQA精度 | 45.6% |
|---|---|
| GRPO | 39.9% |
どこで使えるか
強化学習なしで推論コストを抑えたい人向け。事前モデルの潜在能力を引き出す arXivで論文公開済み GPQAのみ評価。他ベンチマーク結果は記載なし
スポンサーリンク
解説
かみくだいて説明します
Zhendong Mi さんと Shaoyi Huang さんが arXiv に発表した論文で、学習なしで大規模言語モデルの推論能力を引き出す「Decision-Flow Sampling」という手法を紹介します。GPQA というベンチマークで正解率 45.6% を記録し、強化学習で学習した手法を上回りました。
強化学習を使わないのに、学習済みの手法より上回るんですか。具体的にどのくらいの差があるんですか。
比較対象の power sampling が 38.9%、強化学習で訓練された GRPO が 39.9% でしたので、およそ 6 ポイントから 7 ポイントの差です。仕組みとしては、モデルが答えを導く推論の過程を複数の道に分け、最後まで進んだ答えの良し悪しを評価して、その評価を分岐点まで遡らせて次の判断に生かします。
評価を分岐点まで遡らせて判断に生かすというのは、まだイメージが掴めません。もう少しやさしく言うとどうなりますか。
試験勉強で解いた複数の解答パターンを採点し、正解に近かったパターンの考え方を振り返って、次の問題の解き方に活かすイメージです。従来の手法が一歩ずつその場の良さだけで道を選ぶのに対し、この手法は最後まで通しで見てから最も良い道を選び直します。
最後まで通しで見てから道を選ぶんですね。では、現場でこの手法を使う側からすると、新たにモデルを学習させる手間はどうなるんですか。
そうです。学習の手間は不要です。既に完成しているモデルに、この sampling だけを追加で走らせるだけで動きます。3 種類のモデルで 4 つのベンチマークを試し、すべてで既存の手法を上回りました。
追加するだけで済むなら、既存の資産をそのまま活かせますね。では、この手法が引き出す潜在する推論の道とは、具体的にどのようなものなんですか。
元々のモデルが持っている潜在能力のことです。学習を経ていない段階でも、モデルは良い答えを出す道を持っていると仮説を立てています。今回の手法はその道を見つけ出すことに成功した形です。
潜在能力を引き出すだけなんですね。ただ、この手法にはまだ解けていない課題はありますか。
要旨には計算量に関する記述がないため、GPQAでの精度向上(45.6%)と既存手法の比較(38.9%、39.9%)を言及します。
計算量を抑えることで、より幅広い実用場面が期待できます。
研究チームは、学習不要で推論時にのみ動作する手法により、計算コストを大幅に削減できるとしています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。