Local Support Learningが、最大 70 億パラメータのモデルで忘却を防いだ。
この記事のポイント
- 勾配ベースの最適化が忘却防止に不十分だった
- GMMゲートで更新を学習分布に限定した
- 最大70億パラメータの忘却を解消
どこで使えるか
忘却を防ぎつつ効率的に更新したい人向け。最大70億パラメータまで対応、データ不要 arXivで公開済み 7B以下のLLMで検証済み
スポンサーリンク
解説
かみくだいて説明します
Assaf Ben-Kishらの研究チームが 2026 年 10 月 2 日、大規模言語モデルの記憶喪失を解決する Local Support Learning を発表しました。既存モデルに新タスクを覚えさせると旧能力が失われる問題に対し、入力空間を幾何学的に捉え直すことで、従来の勾配最適化が最適でないことを示しました。
既存の能力が失われるというのは、新しい勉強をすれば前のテストの答えを全部忘れるような状態なんですね!その仕組みをどう防いでいるんですか?
標準的な重みアダプターと、入力によってアダプターを有効にするかどうか決めるゲート関数の 2 つを組み合わせます。ゲート関数はガウス混合モデルという確率分布の手法を使っていて、現在の学習データに似ている入力だけを通し、過去のデータに似た入力には閉じたままになります。
ガウス混合モデルというのは、聞き慣れない言葉ですが、もう少し噛み砕いて説明していただけますか。
正確には、複数の丸い山の確率分布を重ね合わせたものです。現在の学習データが山のてっぺんに相当するとして、そこから離れるほど値が急激に下がります。つまり、過去のデータが山の外側にあると判断されると、ゲートが自動的に閉まる仕組みです。
なるほど!では、この手法は実際にどのくらいの規模のモデルで検証されているんですか。
最大で 70 億パラメータのモデルにおいて、事前学習時の能力とファインチューニング後の能力を、複数の学習フェーズを跨いでも保持することに成功しています。メモリと計算コストの効率も良く、ハイパーパラメータの選択にも頑丈で、規模を大きくしても機能する見込みが示されています。
70 億パラメータで複数の学習をまたいでも記憶が失われないのは確かに大きいですね!現場で使う技術者から見ると、過去の学習データなしでこの手法を適用できるのはどのくらい現実的な話ですか。
過去の学習データにアクセスすることなく、新しい学習フェーズだけでゲート関数を構築できる点が今回の特徴です。技術者側が追加で用意するのは、現在のタスクに必要な学習データだけでよく、既存のシステムにアダプターとゲート関数を追加する形で組み込むことができます。
既存のデータをそのまま残したまま、新しい能力だけを追加で蓄積できるということですね!では、この手法の限界や、まだ解決していない課題はありますか。
70億パラメータまでのモデルで、事前学習とファインチューニングの両方の能力を複数の学習フェーズにわたって保持でき、メモリと計算効率が良いことが示されています。ハイパーパラメータの選択にも頑丈で、スケーリングの可能性があります。
最後に、この手法が実用化されるまでの見通しや、次のステップについて教えていただけますか。
実用化に向けて、70億パラメータのモデルでも記憶喪失を解消し、複数の学習フェーズで能力を保持できることを示しました。
出典
この記事のもとになった情報
- arXiv:Local Support Learning
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。