推論を6トークンに圧縮する決定演算子 DecisionSteer、低コストでスキルを注入する話

論文

推論を6トークンに圧縮する決定演算子 DecisionSteer、低コストでスキルを注入する話

スポンサーリンク

DecisionSteerが、推論を6トークンに圧縮してスキルを低コストで注入する。

この記事のポイント

  • システム1の判断演算子を低コストで注入する方法が不明だった
  • 行動模倣で低ランク活性化誘導の判断演算子を学習させた
  • 精度を落とさず推論を大幅に短縮。ただし特定タスクでは上位ランクが有効

どこで使えるか

推論コストを下げたい人向け。精度を落とさず推論を大幅に短縮。 GitHubで公開済み 330Kパラメータで1.33Mモデルに匹敵

スポンサーリンク

解説

かみくだいて説明します

Ran Li さん、Lei Chen さんが arXiv に公開した論文で、凍結した言語モデルにスキルを注入する新しい演算子を提案しています。デフォルトで 330K パラメータで、強化学習で訓練した 1.33M パラメータの演算子と同等以上の性能を出しつつ、3,685 トークンの推論を 6 トークンの判断に圧縮しています。
3,685 トークンが 6 トークンになるんですか? 訓練の手間はどれくらい減るんですか?
およそ 2 桁、つまり 100 分の 1 以下のコストで済みます。強化学習のパイプラインを使わず、行動模倣で訓練するだけです。23K パラメータの小さな変種も作れて、これは既存の最も強力なスキル演算子の 58 分の 1 です。
58 分の 1 なんて驚きですね。パラメータが減ると、モデルの内部では具体的に何が起きているんですか?
既存の手法は初期化の段階で勾配がゼロになってしまう問題がありましたが、今回の手法は共有された低ランクの骨格の中にゼロ初期化の出力射影を入れるため、最初の最適化ステップですぐに勾配が流れます。頭の中で例えるなら、既存の方法が凍った川に橋を架けようとしていて動かないのに対し、今回の方法はすでに水が流れている水路をそのまま使うようなものです。
凍った川と流れている水路、なるほど。6 トークンで判断するだけで、本来の推論プロセスを踏まないのに、精度は落ちないんですか?
精度は落ちません。23K パラメータのモデルで LiveMath の 57 問中 23 問が、ベースモデルが 8 回試行して最好的な答えを選ぶ手法を上回っています。内部の信号を覗いた解析では、この演算子が答えをより早く書き込むのではなく、モデルがもともと持っている後半の経路で答えを強調していることが分かっています。
もともとの経路を強調するだけなんですね。では、訓練したスキルを別のタスクにそのまま使い回すのは難しいんですか?
5つのタスクと3つのバックボーンで転移し、訓練から数ヶ月後に公開されたLiveMathの問題でも性能が維持されています。スキル同士は線形な演算子として振る舞い、推論時に足し合わせたり補間したり、ホットスワップで入れ替えたりできます。
推論時にホットスワップで入れ替えられるんですか。では、研究者が実際にこの手法でモデルを改良する場合、どの部分が最大のポイントになりますか?
初期化とアーキテクチャの組み合わせです。勾配がすぐに流れる構成にすれば、強化学習の重いパイプラインを組まなくても、凍結モデルに 330K パラメータで判断能力を埋め込めます。13 組のベースとタスクの組み合わせで、ベースモデルの余力に比例して性能が上がっているのも確認しています。
余力に比例して上がるなら、もともと性能が出ているモデルほど恩恵が大きいわけですね。最後に、この手法の限界や、まだ見えていない部分はどこですか?
高いランクを使うほど LiveMath では性能が上がる傾向があるため、タスクによってはさらにパラメータを増やす余地が残っています。また、コードは GitHub に公開されていますが、具体的なベンチマークの使い方や他のモデルへの適用例については、そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文