生成を区切って推論を続ける dLLM の手法、長文の数学やコード生成で精度を上げる話

論文

生成を区切って推論を続ける dLLM の手法、長文の数学やコード生成で精度を上げる話

スポンサーリンク

Register Tokensを使った dLLM が、数学で最大 8.5 点、コードで最大 19.5 点の精度向上を実現した

この記事のポイント

  • 生成テキストを消しても推論を続けられるか
  • 固定位置のレジスタトークンで状態を保持
  • 数学8.5点、コード19.5点向上

数字で見る

この記事に出てくる数字

数学スコア向上 最大8.5pt
コードスコア向上 最大19.5pt

どこで使えるか

生成テキストを消しても推論を続けたい人向け。固定位置のレジスタトークンで状態を保持 arXivで論文公開済み LLaDA/Dreamでの評価。モデル未指定

スポンサーリンク

解説

かみくだいて説明します

Albert Geらの研究チームが、2026-09-15に、マスクド拡散言語モデルと呼ばれるテキスト生成の仕組みに固定サイズの記憶領域を設ける手法を発表しました。このモデルは通常、生成したテキストを文脈に残さないと次の段落の推論が続けられませんが、研究では生成した文章を消去しても、特定のレジスタートークンと呼ばれる位置が決まった特殊なトークンの状態だけを保持し、そこから推論を再開できるようにしました。
生成した文章を消しても推論を続けられるということですね。その記憶領域は、従来の方法と比べてどれくらい性能が変わるんですか。
LLaDAとDreamというモデルで評価した結果、すべてのベンチマークで従来のテキストをそのまま保持する方法を上回りました。数学の課題では最大で8.5ポイント、コード生成では19.5ポイントの向上を確認しています。特に正しいプログラムが複数の生成チャンクにまたがる場合のコード生成で効果を発揮します。
コード生成で19.5ポイントも差が開くのは大きいですね。裏側の数値を保持して文字だけ消す、という仕組みですね。
通常の拡散モデルは、一部分をノイズから何度も修正してテキストを完成させますが、レジスタートークンはモデル内部の連続した数値状態として推論の途中経過を保存します。文章を消すのは画面の文字だけであって、裏側の数値はそのまま残るイメージです。これにより、次の文章を生み出す際に、消えた前の文章の情報を直接参照しなくても済むようになります。
裏側の数値を保持して文字だけ消す、という仕組みですね。では、AIを使う側から見ると、推論の長さ制限は緩和されるんですか。
既存のモデルに対して後から学習を施す形で導入します。生成したテキストのチャンクを消去しつつレジスターの値を維持する学習を適用するため、モデルの基本的な構造は変えずに、推論の連続性を高める機能として追加できます。
後から学習を施す形で追加できるということですね。長期的な推論タスクでは強化学習で調整できる点に注目しています。
はい。長期的な推論タスクに対して強化学習を適用すると、レジスタートークンの状態をさらに精密に調整できます。これにより、より長い推論チェーンが必要な複雑な課題でも、精度を上げられる可能性を示しています。
強化学習で精度を上げられる可能性が示されているということですね。固定サイズの記憶領域に限定している点は興味深いですね。
本研究では固定サイズの記憶領域に限定して評価を進めています。強化学習による改善の可能性も示されていますが、その精度向上の具体的なメカニズムについてはまだ分かっていません。
最後に、この手法が実用化される見通しについて教えてください。
公開されているのは研究段階の結果であり、実用化のスケジュールや具体的な製品への組み込み時期については、まだ情報がありません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文