Cortex-Structuralは、50回の更新後も文脈の恩恵を88.9%回復し、本来の性能を99.8%維持した
この記事のポイント
- 文脈の恩恵が除去後に失われる
- Cortexで文脈情報をパラメータに凝縮
- 14Bで50回更新後も性能99.8%維持
数字で見る
この記事に出てくる数字
| モデル規模 | 4B--120B |
|---|---|
| 編集回数 | 50回 |
どこで使えるか
50回の更新後も性能を維持したい人向け。4Bから120Bのモデルで検証済み arXivで公開済み 14Bモデルで50回編集後の評価
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Jintian Zhangらの研究チームが、2026-10-15にarXivに論文を発表しました。人工知能が与えられた情報を一時的に使うのではなく、内部の記憶として定着させる技術、Cortexを開発したということです。
情報を内部に定着させるんですか。研究している人から見ると、これまで何ができていなかったんですか?
従来は、指示文や資料を一緒に読み込ませると性能が上がりますが、その資料を消すと元に戻ってしまう問題がありました。Cortexは、その一時的な性能の上がりを、モデルの内部パラメータに書き換えることで、資料がなくてもその力を維持する仕組みです。
なるほど。では、その書き換えの処理はどうやっているんですか?
まず人工知能に、与えられた情報をもっと先でどう使うか予想する質問を自分で考えさせます。その予想に基づいて得られた答えを、モデルの重みに小さくまとめた形で書き込みます。これを低ランク更新と呼びますが、重みの全体をやり直すのではなく、必要な部分だけを上書きするイメージです。
必要な部分だけを上書きするんですか。もう少しやさしく言うとどうなりますか?
正確には、重みを大きな箱と小さな箱に分けて考えることです。全体を変えるのは大きな箱で、今回のように一部の情報だけを覚えさせる時は小さな箱に書き込みます。大きな箱の手間は省けるので、計算の負担が軽くなります。
なるほど。では、どのくらいの規模のモデルで試したんですか?
4Bから120Bまでのパラメータ数を持つモデルで検証しています。テキストだけ扱うものから、画像も扱うものまで含みます。5つの異なるタスクのグループで、一度だけ書き換える場合、まとめて書き換える場合、順番に書き換える場合を測りました。
順番に書き換える場合の成果はどうでしたか?
14Bのモデルで50回連続して事実を書き換えた場合、Cortexの構造更新版は、情報を読み込んだ時に得られた性能の上がりの88.9%を取り戻しています。同時に、書き換えていない元の能力は99.8%残っています。
最後に、この技術は実用化まであとどのくらいだと考えられますか?
実用環境で確かめたとは要旨に書かれていないが、4Bから120Bのモデルで評価され、88.9%の性能回復と99.8%の保持を達成している。
あわせて、今月にはLLMへの事実知識の更新・編集を行いながら、対象外の知識や汎用能力を保持する課題に取り組む別の研究も出ています。
出典
この記事のもとになった情報
- arXiv:Cortex: Consolidating Context into Parametric Memory
- 公開日:2026-10-15
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。