REDaCTが、推論モデルの忘却で推論の連鎖が崩れるのを防いだ
この記事のポイント
- 既存手法は推論が崩壊する
- 推論中の漏洩を検出し修正埋め込みで誘導
- 回答忘却は完璧だがCoT忘却はほぼ
数字で見る
この記事に出てくる数字
| 検出器の種類 | binary |
|---|---|
| 回答忘却精度 | perfect |
どこで使えるか
推論の連鎖を保ったまま、学習済みデータの情報を消したい人向け GitHubで公開済み 推論時のみ使用可能
スポンサーリンク
解説
かみくだいて説明します
Joshua Maccobyらの研究チームが、2026年10月9日にarXivへ大規模推論モデルの学習解除手法 REDaCTを発表しました。この手法は、モデルに覚えていてほしくない情報を消す際に、推論の過程が崩れ落ちる問題を完全に回避します。
推論の過程が崩れるというのは、具体的にどういった状態なんですか?
情報を消そうとして、モデルが次に何を言うべきか分からなくなり、延々と意味のない文章を羅列したり、途中で処理を止めたりしてしまうことです。例えば、暗算の問題を解く際に、答えを忘れたくて消す操作をしたら、筆算の過程がぐちゃぐちゃになって一向に解答に辿り着けなくなるような状態です。
なるほど、計算の途中式が台無しになるんですね。では、その崩れを防ぐために REDaCT は具体的にどう動くんですか?
2つの仕組みを組み合わせています。まず、推論の途中で覚えるべきでない情報が漏れ出していないか、二択で判定する検出器を動かします。そして、オフラインで事前に学習させた修正用の埋め込みを、初めて漏れを検出した部分に差し込むことで、その後の推論を正しい方向へ誘導します。
修正用の埋め込みって、そこがまだ掴めません。もう少しやさしく言うとどうなりますか?
正確には、文章を数字の並びに変換したときの、文脈を補正する小さな手引きです。消したい情報を含まない文脈の並び方に近づけるように調整しておき、推論中に差し込むだけで、モデルが勝手に正しい方向へ書き直される仕組みです。
差し込むだけで正しい方向へ書き直せるんですね。実際にどれくらい性能が改善したんですか?
既存の手法と比べて、推論の精度を大幅に維持しながら、答えの忘却は完全、推論過程の忘却はほぼ完全を達成しています。特に重要なのは、推論が崩れる現象が完全に発生しなくなった点です。
作る側の技術者から見ると、これは今すぐ現場で使えるものですか、それともまだ先の話ですか?
REDaCTは論文で手法として示され、コードも公開されていますが、要旨には性能面の記述しかなく、導入のしやすさまでは書かれていません。
では、研究する人から見ると、どこが新しいんですか。これまでは何ができていなかったんですか?
従来の手法では推論崩壊を避けられず、忘却と推論の両立が課題でした。本研究は推論崩壊を完全に回避し、回答忘却は完全、CoT忘却はほぼ完全を達成しました。
最後に、今後この手法はどのように発展していく見込みなんですか?
REDaCTは推論時の忘却フレームワークで、リーク検出器と埋め込み最適化モジュールからなります。これにより、推論の崩壊を完全に回避し、回答の忘却とCoTの忘却を達成します。
出典
この記事のもとになった情報
- arXiv:REDaCT: Collapse-Free Unlearning in Large Reasoning Models
- 公開日:2026-10-09
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。