事前学習の重み幾何で SFT 更新を補正する手法、Qwen や Llama の性能回帰を抑制する話

論文

事前学習の重み幾何で SFT 更新を補正する手法、Qwen や Llama の性能回帰を抑制する話

スポンサーリンク

SPACEがSFT更新を幾何補正。Qwen2.5-7Bで数学のID/OOD性能が平均2.85/2.26ポイント向上。

この記事のポイント

  • SFTが事前知識を乱す仕組み
  • 重み空間から不要成分を選別
  • Qwen2.5-7BでID/2.85/OOD/2.26

どこで使えるか

SFT後のモデルを再調整したい人向け。事前重みの幾何構造を活用し、不要な更新成分を除去する

スポンサーリンク

解説

かみくだいて説明します

Jianzhu Baoらの研究チームが、大規模言語モデルの追加学習を改善する新しい手法、SPACEを提案しました。この手法は、モデルが追加学習で得た重みの更新を、学習前の重みの構造を基準に選別し直すものです。
追加学習で得た重みの更新を、学習前の構造で選別し直すんですよね? 具体的には、どこを基準に選んでいるんですか?
正確には、学習前の重みが持つ主要な方向性、つまり主成分部分空間を基準にしています。追加学習で変えられてしまった重みの成分のうち、この主要な方向性にあるものだけを元に戻す仕組みです。
主成分部分空間がまだ掴めません。もう少しやさしく言うとどうなりますか?
分かりやすく言うと、学習前の重みが持っている一番強い傾向の軸です。新しい知識を覚えさせる時に、この軸に沿って強引に書き換えられてしまうと、モデルが元々持っていた基礎的な能力が損なわれてしまいます。SPACEは、その損なわれた軸の部分だけを選んで、学習前の状態に戻すのです。
では、この手法は追加学習のたびに重い計算が必要になるんですか? 重みのデータ二つだけで動くなら、開発現場の負担は大幅に減りそうです。
必要ありません。SPACEはデータも使わず、学習も不要な手法です。追加学習前のモデルと、追加学習後のモデルの二つの重みのデータだけがあれば動きます。
追加学習前の重みデータと追加学習後の重みデータだけあれば使えるんですね。
数学、プログラミング、医療の三つの分野で試した結果、分野内の性能はさらに向上し、分野外の性能が落ち込む現象も抑えられました。数学の追加学習では、Qwen2.5-7B で分野内がおよそ 2.85 ポイント、分野外が 2.26 ポイント向上しています。Qwen3-14B-Base でも、それぞれ 2.41 ポイント、1.52 ポイントの向上を確認しました。
複数のモデルで同じような効果が確認できるんですね。分野外の能力が回復する仕組みは、学習前の構造を基準に選別しているからだと理解しました。
使えます。Qwen2.5からQwen3.5、Llama-3.1、Olmo-3 まで、 2B から 14B までの複数のモデルで評価しています。どのモデルでも、分野外の能力が回復し、分野内の性能がさらに上がる傾向が確認されています。
最後に、この手法の今後の展開について、どこまで見通しが立っているんですか?
データ不要で学習不要な方法なので、事前と事後のチェックポイントさえあれば使えます。数学やコーディング、医療などの幅広いタスクで、領域外能力の低下を抑えつつ領域内の性能も向上させています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文