InfiLoopが、テスト時の反復回数を増やすことで推論性能を向上させた。
この記事のポイント
- ループ回数の増加で精度が低下する
- ループ固有の残差接続を提案
- 20000ステップ超でも改善。Sudoku-Extremeで97.9%
どこで使えるか
ループ回数を増やしても精度が下がらない手法を使いたい人向け。テスト時の反復で推論を強くできる GitHubで公開済み 7Mパラメータ、20,000ステップ以上で改善継続
スポンサーリンク
解説
かみくだいて説明します
Pengxiang Liらの研究チームが2026年10月8日に発表したInfiLoopは、ループ型AIモデルの性能が反復回数が増えるほど低下する問題を解決する仕組みです。
反復回数が増えると性能が下がるんですか? 何度も同じ処理を繰り返すのに、なぜ逆効果になるんですか?
内部の状態が少しずつノイズを帯びて、正しい途中経過を上書きしてしまうからです。一度間違った推論が出ると、その後のループで情報を取り戻すのが難しくなります。
なるほど、間違った情報が蓄積していくんですね。InfiLoopはそれをどう防ぐんですか?
新しい更新と過去の計算のどちらを優先するかを、内容と時間の経過に応じて自動で重み付けします。手元のメモ帳に書き込むイメージです。古い情報は少しずつ薄くし、新しい情報も信用できるものだけ足していきます。
なるほど。ループが回れば回るほど、メモリの容量は膨らんでいく心配はないんですか?
反復回数が増えても、保持するメモリの容量は一定に保たれます。7Mという小さなパラメータ数で、Sudoku-Extremeでは97.9%の正確な正解率を達成しました。
20,000回を超える反復でも性能が上がり続けるんですか?
はい。Sudoku-Extremeでは97.9%の正確な精度を達成し、反復ステップを増やすほど推論能力が直接強くなります。
既存の手法と比べて、どこが根本的に違うんですか?
ループ回数が増えるほど性能が低下する問題を防ぐために、独自の残差結合を必要とするのが根本的な違いです。
開発者が実際に試すためのコードは公開されていますか?
公開されています。GitHubで誰でも確認できます。
では、最後に。今後さらに大きなモデルで検証される見込みはありますか?
7Mパラメータのモデルが既存の再帰的アーキテクチャを上回り、Sudoku-Extremeで97.9%の正解率、ARC-AGI-2で13.6%のpass@2に達しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。