EngramEditでLLMの知識を条件付きメモリで更新し、関連知識を維持する話

論文

EngramEditでLLMの知識を条件付きメモリで更新し、関連知識を維持する話

スポンサーリンク

EngramEditが、関連知識を維持しつつLLMの知識をほぼ完璧に更新した。

この記事のポイント

  • 異なる表現で事実を予測するのは難しい
  • 複数表現で更新事実を予測し共有メモリを調整
  • CoTで約3倍。一般知識と能力はほぼ保たれる

どこで使えるか

LLMの知識を正確に更新したい人向け。一般能力を損なわず複数表現に対応 論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Hongru Cai らの研究チームが 2026 年 10 月 8 日に arXiv に論文を発表しました。知識を更新する EngramEdit という手法を開発し、chain-of-thought プロンプティングで既存の strongest baseline を 3 倍の精度で上回りました。
chain-of-thought プロンプティングというのは、モデルに段階的に考えさせる指示のことですね。条件付きメモリを使う DeepSeek Engram との違いは、どこにあるんですか?
DeepSeek Engram は入力の n グラムから学習した埋め込みを参照してモデルの容量を広げますが、EngramEdit はそこに知識を書き換える仕組みを加えました。同じ事実を別の言い回しで表現したとき、それぞれの言い回しに対応する n グラムの埋め込みを同時に更新し、よく使われる埋め込みほど更新を抑制することで、関係ない知識が勝手に変わらないように制御しています。
埋め込みという言葉がまだ掴めません。もう少しやさしく言うとどうなりますか?
埋め込みとは、単語やフレーズをモデルが処理しやすい数値の辞書に置き換えたものです。例えば辞書に「東京 首都」という項目があれば、モデルはそこから情報を引き出します。EngramEdit はこの辞書の項目を、更新したい事実に合わせて上書きする代わりに、他の項目を傷つけないように慎重に修正する作業だと思ってください。
なるほど。では、現場でこの手法を使う場合、モデルの重みを最初からやり直す必要はないんですか。
必要ありません。Transformer のバックボーンは固定したまま、条件付きメモリ部分だけを編集します。実験では、更新後の知識が unseen な言い回しでも正しく使え、関係ない知識や一般的な能力は更新が積み上がってもほぼ保持されました。
バックボーンを固定してメモリだけいじるんですね。では、更新したい事実が複数ある場合、どれくらい正確に書き換えられますか。
実験では、複数の表現にわたる事実の更新が成功し、共有する埋め込みへの干渉を抑制しながら正確に更新されています。
共有している埋め込みの干渉が課題なんですね。では、この手法が実用になるには、どのくらいの計算コストで動かせますか。
追加の計算量は限定的で、既存の条件付きメモリ構造に組み込む形で実装できます。
組み込み型の追加計算で済むなら、研究者が既存のモデルに試す敷居は低そうですね。最後に、この手法の今後の展開について教えてください。
条件付きメモリを編集可能な知識インターフェースとして拡張する方向で、他のメモリ構造への適用も検討されています。ただし、大規模な実環境での長期安定性や、商用モデルへの組み込み時期については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文