SFTの学習対象を情報量で選別する手法、推論とコード生成の汎化を高める話

論文

SFTの学習対象を情報量で選別する手法、推論とコード生成の汎化を高める話

スポンサーリンク

CIG-SFTが、推論とコード生成で標準 SFT を上回る汎化性能を出した

この記事のポイント

  • モデル適合と学習価値は別物
  • タスク条件付き情報利得で重み付け
  • 数学・コードで標準SFTを上回る

数字で見る

この記事に出てくる数字

追加データ 不要

どこで使えるか

汎化を重視するSFT構築者向け。学習データ選定に情報理論を用いる arXivで論文公開済み コード公開の記載なし。CIG-SFT手法の詳細は論文内

スポンサーリンク

解説

かみくだいて説明します

Yuxuan Guらの研究チームが、大規模言語モデルの学習手法「CIG-SFT」を発表しました。既存の教師あり学習では示された回答をそのまま真似させるためにモデルの元々の推論能力が邪魔される問題がありましたが、この手法はタスクの入力が示された判断にどれだけの情報をもたらすかを数値で測ります。
示された判断に情報がもたらされる量を測る、ということですね。モデル側がどれくらいその答えを予想できているかを見る従来の手法とは、どこが違うんですか?
従来はモデルが弱く支持しているトークンを外してしまう傾向がありましたが、CIG-SFTはタスクの入力があることで不確実性がどれだけ減るかを計算します。モデルが迷っているからといって必ずしも悪ではなく、その迷いが実は示された手順で教えるべき重要な判断だった場合を、見逃さずに学習に取り込む形です。
迷いが重要な判断だった場合を見逃さない、なるほど。計算はどのくらい重くなるんですか。
追加のデータやオンラインでの生成テストは必要なく、既存の学習パイプラインに組み込むだけで済みます。数式で言うと、現在のモデルの出力を目標分布へKLダイバージェンスで正則化した射影になり、その勾配がスカラー重み付きの通常の教師あり学習目的関数と完全に一致します。
KLダイバージェンスで正則化した射影、というところがまだ掴めません。もう少しやさしく言うとどうなりますか。
難しい言葉で言うと射影ですが、要するに現在のモデルの出力を目標とする分布の近くに押し戻す作業です。重みの調整によって、モデルが迷いやすい部分を重点的に正解へ誘導するイメージで、既存の学習コードをほぼ書き換えずに適用できます。
既存のコードをほぼ書き換えずに使える、それは開発者にとって大きい話ですね。では、実際の性能向上の数字はどれくらい見込めるんですか。
数学的推論とコード生成のベンチマークで、標準的な手法や適応型学習のベースラインを一貫して上回りました。特に評価分布が厳しい場合の汎化性能に強い改善が見られ、訓練データを増やさなくても目標分布外の難しい問題に対応できることを確認しています。
分布が厳しい場合の汎化が上がる、確かに。この重み付けの考え方は、強化学習の段階でも応用できるんですか。
強化学習の段階でも応用できるんですか。CIG-SFTは追加データやオンラインロールアウトなしで数学推論やコード生成ベンチマークで標準SFTや適応的ファインチューニングを consistently outperformし、特に厳しい評価分布への汎化が向上します。
では、実用化について教えてください。
具体的な公開スケジュールの記載はありません。実装の公開時期や、他のタスク領域への拡張見通しについてはそこはまだ分かっていません。
最後に、この手法の限界や今後の課題を教えてください。
論文では数学的推論とコード生成ベンチマークで標準SFTや適応的ファインチューニング手法を上回り、特に困難な評価分布への一般化で大きな改善を示したと報告しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文