MiniCPM5-1B-SFT に低ランク補正を足す LARC、フィードバックでモデルを適応させる話

論文

MiniCPM5-1B-SFT に低ランク補正を足す LARC、フィードバックでモデルを適応させる話

スポンサーリンク

LARCがMiniCPM5-1B-SFTにフィードバック適応、クエリ実行誤差が36.65ポイント減少

この記事のポイント

  • 凍結模型の適応が不十分
  • 低ランク残差接続で学習
  • 精度向上も更新で劣化

数字で見る

この記事に出てくる数字

学習可能パラメータ 12,288

どこで使えるか

凍結モデルにフィードバック適応させたい人向け。学習パラメータが少なく更新コストを抑えられる 論文の記載のみ。コード公開は記載なし MiniCPM5-1B-SFT固定。実装詳細は論文内

スポンサーリンク

解説

かみくだいて説明します

Junyi Zouらの研究チームが、2026年10月1日に arXiv に LARC という手法を発表しました。凍結した MiniCPM5-1B-SFT というモデルに、12,288 個のパラメータだけを動かすことで、フィードバックから素早く学習できるようにしたものです。
凍結したモデルに小さな状態を付けるんですか? すでに学習が終わっているモデルに、どうやって新しい情報を取り込んでいるんですか?
隠れた表現に低ランクの補正を足す仕組みになっています。遅く変わる状態がタスク全体で学び方を覚え、速く変わる状態がフィードバックに合わせてその場で書き換わるのです。固定された台紙と、それに貼るシールのようなものです。台紙が基本の形を保ち、シールがフィードバックに合わせてその場だけの調整を担当します。
基本の形と、その場だけの調整を分けると言うことですね。では、この調整はどれくらい正確に動くんですか?
4つの選択肢からプログラムを選ぶタスクで、フィードバックを2回与えるだけで、誤りが24.65ポイントと36.65ポイント減りました。さらに直接の選別ルールを使えば、誤り率を0.78125パーセントまで下げられています。
確かに精度は上がりますね。では、実際にこの仕組みを組み込む技術者から見ると、動かすのに何が要るんですか?
凍結したモデルの上に、小さな残差接続だけを新たに追加すれば動きます。学習済みの重み自体は触らないので、元のモデルをやり直す必要はありません。
元のモデルを傷つけずに足し算だけで済むんですね。では、ずっと使い続けると、その調整はどれくらいの期間保てるんですか?
速く変わる状態はフィードバックが終わると、学習を始める前の初期値に戻ります。このリセットを繰り返すことで、次のタスクでも安定した状態から始められる設計です。
初期値に戻すことで、次の仕事でも同じスタートラインに立てると言うことですね。では、連続した実務のデータで試した結果はどうでしたか?
公開の継続的インテグレーションの仕事を時系列で再生した実験では、オンラインの更新を保持し続けると、half-Brier 損失が0.1274から0.1808に悪化しました。更新を固定した介入では、同じバッチ内で改善が止まる現象も確認されています。
更新をそのまま使い続けると、かえって数値が悪化するんですね。最後に、この手法の今後の見通しはどうなっていますか?
16のグループと3つのシードで検証が進んでいますが、異なる規模のモデルや、もっと長い期間の更新にどう適用できるかは、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文