Recursive Reasoning Modelsが安定化し、算数 OOD が 71.2% に向上した
この記事のポイント
- 再帰モデルの性能要因と最適化が不明で不安定
- 6分野で統一パイプラインを構築しレシピを評価
- 再帰ベースライン中最強。算数OODは71.2%
数字で見る
この記事に出てくる数字
| パラメータ数 | 13.6M |
|---|---|
| 算数OOD精度 | 71.2% |
| Sudoku精度 | 98.41% |
どこで使えるか
再帰推論モデルの安定化と算数OOD向上を狙う人向け。レシピは六領域の実験で汎化を確認済み。 論文で公開済み 13.6Mパラメータのモデル。コード公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Yuliana Shakhvalievaらの研究チームが、10月1日に公開した論文で、アルゴリズム的な推論を繰り返すモデルの性能を左右する要素を調べました。小さなTransformerブロックを何度も回すことで少ないパラメータで大規模な推論ができる仕組みですが、既存のHRMやTRM、URMといったモデルでは訓練が不安定でどこが性能を動かしているか分かっていませんでした。今回の研究では6つのアルゴリズム領域で統一した実験を行い、勾配の届く範囲を中間に設定し、バッチの大きさを大きくし、状態の更新を制御することで安定した訓練が可能になることを示しました。この方法で構築した13.6Mパラメータのモデルは、算数の外れ値問題で正解率およそ36.2%から71.2%に上げ、数独で98.41%、ARC-AGI-1の推論テストでpass@2が59.5%という結果を出しています。
小さなブロックを何度も回すだけで、そんなに性能が変わるんですね。作る側から見ると、今使っている大規模言語モデルにこの手法を組み合わせるのは難しい話ですか。
組み合わせそのものは難しくありません。既存のモデルが階層構造を複雑に組んでいたのに対し、今回のレシピではその必要がなく、勾配の届く範囲とバッチの大きさ、状態の更新の制御という3つの条件を満たすだけで訓練が安定します。つまり、複雑な構造を組む手間を省いて、計算の進め方そのものを見直すだけで済むということです。
なるほど、構造を簡単にするのではなく、計算の進め方を変えるんですね。
外れ値問題での伸びが特に顕著で、同じ領域の既存モデルを大きく引き離しています。研究チームは、再帰的な構造の中では性能が訓練の進め方と安定化の方法に強く依存することを明確にしました。
外れ値問題が2倍近く上がったんですね。専門用語の「勾配の届く範囲」がまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、間違いを修正する繰り返す回数を制限するということです。モデルが答えを間違えたとき、その間違いを修正するために何度も計算を繰り返しますが、やりすぎると逆に狂い始めます。今回の研究では、その繰り返す回数をほどほどに抑えることで、モデルが正しい方向に収束しやすくなることが分かりました。
繰り返す回数を調整するだけで、こんなに安定するんですね。研究している人から見ると、これまでは何ができていなかったんですか。
従来はモデルごとに訓練方法や構造がバラバラだったため、どれが性能を左右しているのか切り離して検証できませんでした。今回のように条件を一つずつ固定して実験した結果、構造よりも訓練の進め方が性能に強く影響することが明らかになりました。
構造より訓練の進め方が大事なんですね。
6つのアルゴリズム領域で安定した結果を出しましたが、実務で使うための大規模言語モデルとの連携方法や、さらに複雑なタスクへの適用範囲については、そこはまだ分かっていません。
最後に、このモデルを実際のAIシステムに組み込む場合、まだ解けていない課題はありますか。
実務での連携や複雑なタスクへの適用については、そこはまだ分かっていません。訓練の進め方を一つずつ最適化していく手法は、他のAIコンポーネントの改善にも応用できる可能性があります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。