LLMの継続学習で忘却を減らすSVC、パラメータ効率の良い手法

論文

LLMの継続学習で忘却を減らすSVC、パラメータ効率の良い手法

スポンサーリンク

SVCが、LLM の継続学習で既存手法より忘却を減らしつつ下流タスクの性能を維持した

この記事のポイント

  • PEFTの更新先が不明確だった
  • 特異ベクトルチャネルで選択更新
  • 4LLM族8タスクで既存PEFT上回る

数字で見る

この記事に出てくる数字

LLM families 4

どこで使えるか

継続学習で忘却と新知識の両立を図りたい人向け。特異ベクトルチャネルで更新先を自動選定 論文公開済み SVCコードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Lingxiang Wangらの研究チームが、大規模言語モデルの継続学習における忘却問題を解決する SVC という手法を発表しました。
継続学習は新しいデータを追加で学ぶことですよね。既存の知識が消えない仕組みが要るんですか?
そうです。新しい能力を取り込むと、それまで覚えていた情報が消えてしまう破滅的忘却が起きるため、更新する部分と固定する部分のバランスを厳密に取る必要があります。
更新する場所をどう決めるんですか?
特異ベクトルチャネルという単位で区切り、各チャネルが持つ入力から出力への処理能力を、新しい知識の取り込みやすさと、既存知識の流出リスクでスコアリングします。
特異ベクトルチャネルをもう少しやさしく言うとどうなりますか。
専門の回路の通り道だと思ってください。データが通る太い管と細い管があり、太い管ほど既存の情報を守りつつ新しい情報も乗せられるため、ここを優先的に切り替える仕組みです。
切り替える管の選定に、公開されている一般的な文章のデータだけを使うんですか?
はい。忘却のコストを見積もるための代理データとして、専門のデータは使わず固定された一般領域のコーパスだけを参照します。
選定の手順は 3 つあるんですか?
膝点によるコストの選別、パレート前沿フィルタリング、大津の閾値処理の 3 段階で、更新するチャネルの数を自動調整します。
実験結果はどうでしたか?
4 つのモデルファミリー、8 つのタスクで検証し、既存の PEFT 手法を上回る安定性と下流タスクの性能を確認しました。
現場で組み込む技術者から見ると、選定ロジックは公開されていますか?
論文にはアルゴリズムの詳細と評価結果が記載されていますが、コードの公開状況についてはそこはまだ分かっていません。
次はどの方面が進みますか?
次はコードの公開時期と、より大規模なモデルへの適用限界について、追って確認していきます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文