ARGが Qwen3-4B と Qwen3-8B で、12 個中最高数の正解パスを生成した
この記事のポイント
- prefix 継続で正解パスを生成する
- prefix 継続で正解パスを生成する
- prefix 継続で正解パスを生成する
数字で見る
この記事に出てくる数字
| モデル規模 | 4B, 8B |
|---|---|
| ベンチ数 | 5 |
| 評価指標 | pass@12 |
どこで使えるか
検証付き正解パスをpass@12で最多生成したい人向け。計算増なし 論文で公開済み
スポンサーリンク
解説
かみくだいて説明します
Hanyu Wang らが、推論型 AI の学習手法について論文を発表しました。正解の回答を途中まで示す Prefix continuation という方法で、モデルがどれくらいの長さのヒントを与えられれば一番効率よく正解を導けるかを調べたものです。
正解の途中まで見せて、その先を自分で考えさせるんですね。では、ヒントの長さをどう決めるんですか?
ヒントの長さと正解を導く確率の関係を数式で解析し、モデルが自分で考える力を失わないよう、継続結果から最適なprefix selectorを学習しています。
数式でちょうどいい長さを見つけたんですね。そこがまだ掴めません。ヒントの長さと確率の関係をもっと身近なものに例えてもらえませんか。
暗記カードをイメージしてください。短いヒントだけだと答えを思い出せず、長いヒントだとカードをめくるだけで答えが分かってしまいます。論文が示した数式は、カードをめくらないで自分で答えを導くのに最適なヒントの長さを計算するものです。
自分で考えるのにちょうどいい長さを出すんですね。では、現場でこの ARG を組み込むとき、追加で計算コストは増えるんですか。
学習中に得られた結果から、問題ごとに最適なヒントの長さを自動で選ぶ ARG という仕組みを作りました。正解する確率を事前に推定する必要がなく、Group Relative Policy Optimization という学習枠組みの中で、正解に至らなかった問題グループの学習だけを重点的に行えます。
正解できなかった問題にだけ、必要な分のヒントを出してやり直すんですね。では、この仕組みは実際に動いているんですか。
Qwen3-4B と Qwen3-8B という二つのモデルで、5 つの数学推論ベンチマークを使って実験を行いました。評価指標の aggregate pass@12 では、調べた手法の中で最も高い数値を記録し、平均の正解率でも競合する結果が出ました。
5 つの問題セットで一番だったんですね。では、この手法が推論以外のタスクでも使えるんですか。
5つの数学推論ベンチマークでQwen3-4BとQwen3-8Bを使って実験している。
数学の分野でまず効果を確かめて、他の分野への広がりを見るんですね。最後に、この手法が AI 開発の現場に与える影響について、どう見ているんですか。
ARGは固定の生成予算内で正解軌道を作成し、GRPOの全失敗グループに適用します。Qwen3-4BとQwen3-8Bで5つの数学的推論ベンチマークを評価した結果、ARGは評価された手法の中で最高のaggregate pass@12を達成し、競争力のある平均サンプル精度を示しました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。