Reflective Recoveryが DeepSeek-R1-Distill-Qwen-7B の AIME 2025 正解率を 30.0% から 37.5% に引き上げた
この記事のポイント
- 正解例のみで学習すると改善が頭打ちになる
- 失敗した推論の途中までを提示して修正させる
- AIME2025で30.0%から37.5%に向上
どこで使えるか
推論の途中で間違えた先を修正させたい人向け。正解だけでは頭打ちになる課題を突破する arXivで論文公開済み
スポンサーリンク
解説
かみくだいて説明します
Qirui Chen さんたちの研究チームが、人工知能が間違った推論から立ち直る自己教師あり学習手法「Reflective Recovery」を発表しました。正解だけのデータで訓練する従来の手法では、問題数が増えたときに性能が頭打ちになるスケーリング・コラプスが起きていたのを、失敗した推論の途中経過を学習データに転用することで解決します。
なるほど、失敗した過程をそのまま使うんですか。作る側からすると、正解データを集める手間がどれくらい減るんですか。
正解の軌道だけを待つ必要がなくなるため、収集の手間は大幅に削れます。正確には外部の批評モデルや報酬モデルを別に用意する必要がなく、モデル自身が間違えた瞬間の前半部分と問題文を繋げて、正しい答えへ誘導する訓練を繰り返す仕組みです。
間違えた瞬間の前半部分だけを使うというのは、途中でつまずいたところから自分で軌道修正を学ぶということですね。ただ、その訓練で実際にどれくらい精度が上がったんですか。
DeepSeek-R1-Distill-Qwen-7B というモデルで試した結果です。数学の競技問題の AIME 2025 では 30.0% から 37.5% に、大学入試レベルの Minerva では 37.6% から 47.8% にそれぞれ向上しました。正解だけを暗記する段階から、過程を振り返って修正する段階へ変わっています。
頭打ちだった性能が伸びたのは、途中のミスを見抜く力が身についたからですね。研究している人から見ると、これまでの手法とどこが根本的に違うんですか。
従来は結果の正解だけをなぞる学習が中心でしたが、今回は推論の過程そのものに重きを置きます。モデルが自分の思考の途中で誤りに気づき、そこから正しい方向へ戻る振る舞いを、外部の指示なしに自ら身につける点が新しいです。
外部の指示なしに自ら戻るというのは、先生が添削しなくても自分で訂正できるようになるということですか。そこがまだ掴めません。
分かりやすく言うと、答え合わせの先生を置かずに、問題集を解いている最中に自分が書いた途中式を振り返ってやり直す練習を積むイメージです。間違った式のまま次に進まず、その場で書き直して正しい解き方に乗り換える訓練をさせます。
途中式をその場で書き直す練習ですね。では、この手法は実用の段階までどれくらい近づいたんですか。
現在はまだ研究段階の検証です。複数のベンチマークで精度が上がり、スケーリング・コラプスを打破できることが示されましたが、実際の製品に組み込む場合の計算コストや、他のモデルへの適用範囲については、そこはまだ分かっていません。
計算コストや他のモデルへの適用については、まだ見えていないんですね。最後に、今後この手法がどう発展していく見通しですか。
推論過程の振り返りによる修正は、より高度な問題解決が求められる分野でも応用が期待されます。当面は訓練データの変種や、異なるモデルへの転用が試されていくでしょう。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。