Gemma 4 E2B の出力を修正する CRN v2、能力低下を防ぐ軽量の補正モジュール

論文

Gemma 4 E2B の出力を修正する CRN v2、能力低下を防ぐ軽量の補正モジュール

スポンサーリンク

CRN v2が Gemma 4 E2B の間違いを 53.3% 修正し、能力低下なし。

この記事のポイント

  • 凍結モデルの出力誤りを修正する
  • 能力低下を防ぐ修正モジュールを提案
  • 代替手法や設定変更では上回れなかった

数字で見る

この記事に出てくる数字

修正率 53.3%
学習パラメータ 34M
KL項λ 0.1

どこで使えるか

凍結モデルの出力を修正しつつ能力を維持したい人向け。修正モジュールの学習だけで対応可能 コード・重み・評価スクリプトを公開済み 深層モデルの重みは非公開(コードのみ)

スポンサーリンク

解説

かみくだいて説明します

Gautam Kishore さんが発表した研究で、学習済みの言語モデルに小さな修正モジュールを乗せて、間違った出力を直しながら、元の能力を落とさない方法を示しました。乗せるのは Gemma 4 E2B という 4.65B のモデルで、元のパラメータは一切更新せず、およそ 34M の修正専用モジュールだけを学習させます。
元のパラメータを凍らせたまま、別モジュールだけで直すんですね。その修正モジュールは、モデルの出力のどこに介入するんですか。
出力の最後の段階、ロジットと呼ばれる段階に直接手を加えます。分かりやすく言うと、モデルが次の単語を選ぶ前に、候補の並び順を微調整する仕掛けです。83,400 組の間違いと正解のペアで、まず教師あり学習を行い、その後に DPO という正解を明示しない比較学習を加えて仕上げます。
正解を明示しない比較学習、DPO というのは、モデル自身で正誤を判断させるんですか。それでどれくらい直せるようになったんですか。
正解のリストを渡さず、モデルが自分で生成した回答の質を基準に並び替える手法です。60 問の専門試験で試したところ、ベースモデルの間違いの 53.3% を修正できました。同じ問題を言い換えただけのバリエーションでは 43.3% です。
言い換えだと少し落ちますね。元の能力が落ちていないか、別のテストでも確かめたんですか。
はい。200 問の知識テストと 8 問のタスクテストで確認しましたが、修正前と修正後で数値に差が出ませんでした。一方で、同じ規模の別の手法、LoRA という方法で 6.6M のパラメータで試したところ、修正率は 83.3% に上がりますが、元の能力が 30% から 75% も低下しました。
修正率を上げようとすると、元の能力が大きく削られる tradeoff があるわけですね。この数字を維持している裏で、どんな条件が効いているんですか。
正解への偏りを抑える重み付けの値が 0.1 の時に最も安定します。これを 0.01 に下げてしまうと修正率は 35.0% まで落ちます。隠し状態を途中の層に注入する手法や、ロジット修正を深くする手法も試しましたが、今回のロジット修正の設計を上回る結果にはなりませんでした。
設計思想が結果を左右するんですね。この手法は実務で組み込む段階に来ているんですか、まだ実験段階ですか。
実装に必要なコードと主要な重み、評価スクリプトは既に公開されています。ただし、この研究はアーキテクチャの新しい提案ではなく、凍結ベースにロジット修正と正解固定の重みを組み合わせるという設計原則を検証したものです。今後の展開として、より大きなモデルへの適用や、学習データ量との関係性については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文