Transformer の微調整で一時的に情報を失う仕組みを解明する研究、再現と修正手法付き

論文

Transformer の微調整で一時的に情報を失う仕組みを解明する研究、再現と修正手法付き

スポンサーリンク

Spurious Forgettingの仕組みを解明。共通シフトの除去で回復を確認。

この記事のポイント

  • ファインチューニングで失われた知識の回復条件が不明
  • 共有シフトの除去で旧事実を復元できることを確認
  • ただし合成データと単一方向除去という限定条件あり

どこで使えるか

ファインチューニング後の知識消失を心配する人向け。共有シフト除去で復元可能。 arXivで公開済み 理論分析中心。実装コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Vedant Palitらの研究チームが、2026-10-07にarXivへ公開した論文で、人工知能の見せかけの忘却の仕組みを解明しました。新しいデータを学習する過程で古い知識が消えたように見える現象ですが、実は記憶は残ったままで後に回復することが確認されています。
記憶が消えたように見えるのに、実は残っているということですね。研究している人から見ると、これまでの忘却の仕組みとどこが違ったんですか?
従来は忘却を記憶の完全な消失と捉える場合が多かったのですが、今回の研究では二つの異なるプロセスが組み合わさっていると説明しています。一つは全体的なアクセスの低下で、これは新しい学習が完了すれば元に戻るものです。もう一つは個々の知識に対するゆっくりした侵食で、こちらだけが本当の意味で取り返しのつかない破壊になります。
消えたように見えるのは全体のアクセスが低下しているせいだと。では、その二つが組み合わさるのを防ぐ具体的な方法はありますか。
合成データで訓練したTransformerでは、全体的なシフトを差し引くだけで忘却の崩れを防げますが、既存の言語モデルでは、重みの更新から特定の一つの方向を取り除くことで失われた古い知識の回復に成功しています。
重みの更新から特定の方向だけを取り除くだけで回復するんですね。その方向というのは、具体的にどのような性質のものなんですか。
古い知識を格納する際の目印であるキーが共通の構造を持っている場合に、新しいデータを覚える過程でそれらがまとめて同じ方向へ動いてしまう性質です。ちょうど複数の本棚を一度にずらして隠した状態で、本自体はそのまま残っているようなイメージです。
本棚をずらして隠す感じですね。では、新しいデータが古い記憶をまとめて動かすかバラバラに動かすかで、どちらが優勢になるかはどうやって判断するんですか。
新しいデータが学び終わると、正規化がそのシフトを引き戻す点が鍵になります。
正規化の働きがシフトを戻す力になるということですね。実際に業務で使うモデルにこの手法を適用する場合、計算コストはどのくらい増えるんですか。
pretrained language modelでは、重み更新から特定の方向成分を一つ取り除くだけで、忘却した旧事実の recall を回復できます。
計算コストは増えないけれど、基準はまだ決まっていないということですね。最後に、この仕組みの解明が次のモデル開発にどう活かされていく見込みですか。
ファインチューニング中の忘却が一度戻ったあとで個々の事実が徐々に失われていく様子を、人工データで学習したトランスフォーマーと事前学習済みの言語モデルの両方で確かめたと考えられます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文