Subspace Tuningが忘却を大幅に抑制。99% の重みサブスペースを保護し、2〜4 倍の KL ドリフト削減に成功。
この記事のポイント
- SFTは主方向で更新し忘却する
- 更新を底方向に制限するSST
- 99%保護で保持向上、KLは2-4倍低減
数字で見る
この記事に出てくる数字
| KLドリフト削減 | 2-4倍 |
|---|
どこで使えるか
継続的にモデルを更新したい人向け。忘却を抑制し、新しいタスクも学習可能 arXivで公開済み 計算資源の指定なし
スポンサーリンク
解説
かみくだいて説明します
Arnav Chavanらの研究チームが、2026年10月16日にarXivへ論文を提出しました。大規模言語モデルを新しいデータで学習させると以前の能力が失われる問題を、Subspace Tuning、通称SSTという手法で解決します。
なるほど。新しいことを覚えさせると、前の記憶が消えてしまうわけですね。具体的にどのくらい記憶を残せるんですか?
重みの更新を主成分方向から外し、下位の特異部分空間に限定することで、99%の重み部分空間を保護します。これによって対象タスクの性能を維持しつつ、忘却を大幅に抑えられます。
99%の部分をそのまま残すんですね。モデルが大きくなると、忘却は本当に消えるんですか?
はい。モデルやデータの規模が大きくなるほど効果が強まり、大規模モデルの領域では忘却がほぼ消えます。ベースラインのレシピと比べて、分布のズレが2倍から4倍少なくなります。
2倍から4倍もズレが減るなら、学習の安定感が全く違いますね。
オプティマイザーを選ばず、SFTや自己蒸留などの既存レシピと組み合わせて使えます。現場の学習パイプラインにそのまま差し替える形で導入可能です。
既存のやり方にそのまま組み込めるのは助かります。refresh mechanismは、要旨ではシンプルな仕組とされているんですね。
そうです。学習中に主成分方向に少しずつズレが生じた場合、定期的に重みを初期状態へ戻す仕組みです。ズレを累積させず、保護する部分空間の精度を維持します。
ずれた部分を定期的に原点へ戻すんですね。ただ、重みの方向を限定する仕組みは、専門用語が多いので少し噛み砕いてもらえますか。
確かに。重みを地図に例えると、主成分方向が幹線道路で、下位部分空間が裏手の路地です。従来の手法は幹線ばかり通って目的地に近づく代わりに、幹線の風景を塗り替えていました。SSTは裏手の路地だけ使って目的地へ向かうので、幹線の風景、つまり以前の知識がそのまま保たれます。
幹線の風景を塗り替えずに、裏手の路地だけで新しい場所へ行くんですね。最後に、この手法でまだ解けていない課題はありますか。
小規模モデルでの動作検証や、極端に長い学習シーケンスにおける長期安定性については、まだ材料に結論が出ていません。そこはまだ分かっていません。
あわせて、今月にはLLMの継続学習における破滅的忘却に取り組む別の研究も出ています。
出典
この記事のもとになった情報
- arXiv:Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
- 公開日:2026-10-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。