LoopCDがループ型 Transformer でトレーニング不要の推論効率向上を実現。AIME 2024 で正答率が 73.33% に向上し、FLOPs を最大 48.2% 削減。
この記事のポイント
- 中間層の情報を捨てていた
- 最終層と早期層を対比する
- 4 系統で安定して向上
どこで使えるか
ループ型モデルの推論効率を上げたい人向け。トレーニング不要でモデルを選ばない。 LoopCDで公開済み ループ数を半分にするとFLOPs削減
スポンサーリンク
解説
かみくだいて説明します
Weihao Liuらの研究チームが、2026 年 10 月 2 日に arXiv に LoopCD という手法を発表しました。これはループ構造を持つ Transformer という AI のモデルで、同じ計算ブロックを何回も回す際に、途中の段階で出た答えと最後の答えを比べることで、追加の学習なしに推論の精度を上げるものです。
途中の答えと最後の答えを比べるだけで、精度が上がるんですか?
はい。ループを回すたびに同じトークンを予測していますが、最初のうちは計算量が少なく答えが粗く、最後になるほど計算量が積もって答えが正確になります。例えば、同じ問題を繰り返して解くイメージです。最初は答えが曖昧ですが、繰り返すうちに正確になっていきます。その曖昧な段階と正確な段階の差を参考にして、最後の答えを補正しているのです。
なるほど。では、実際に組み込む側から見ると、追加の学習が必要ないというのは具体的にどれくらいの手間削減になるんですか?
追加の学習や外部モデルが要らないため、既存のモデルにそのまま組み込めます。実測では、ループの回数を半分にしても、フルで回した場合と同等かそれ以上の精度を維持でき、計算量を 22.5% から 48.2% まで削減できました。
計算量が半分近く減るなら、実用性はかなり上がりますね。では、その精度向上の具体的な数字を教えていただけますか?
実験では 4 種類のモデルで検証しています。Ouro-2.6B-Thinking の AIME 2024 での正答率は 61.88% から 73.33% に上がり、Huginn の HumanEval での正答率は 22.56% から 31.71% に改善しました。
確かに数字は明確です。ただ、途中の答えを使う方法が 2 種類あるようですが、使い分けの条件は何ですか?
一つは logit 空間で比べる LoopCD-Logits で、これは出力層を 1 回追加で通す必要があります。もう一つは hidden-state 空間で比べる LoopCD-Hidden で、こちらは出力層を通さずに内部のデータだけで完結します。例えば、写真の現像後の画像で比較するか、現像前のデータだけで比較するかのような違いです。速度を優先するなら Hidden 側が向きますが、精度の微調整を重視する場合は Logits 側が適しています。
内部データだけで済むなら、組み込みも楽そうです。では、この手法は既存のループ型モデルすべてに対応しているんですか?
現時点では 4 種類のループ型 Transformer ファミリーで有効性が確認されていますが、それ以外のアーキテクチャへの対応については、そこはまだ分かっていません。
最後に、今後の展開について教えていただけますか。
中間の再帰状態を有効なガイダンス信号に変換し、優れたデコーディング品質を実現しながら推論計算を大幅に削減しています。
出典
この記事のもとになった情報
- arXiv:Decoding Looped Transformers Better for (Almost) Free
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。