Qwen3 0.6Bから32Bのツール呼び出しでSFTとRLを比較した話

論文

Qwen3 0.6Bから32Bのツール呼び出しでSFTとRLを比較した話

スポンサーリンク

Qwen3 0.6Bから32Bのツール呼び出しで、SFTが最も安定して強かった。

この記事のポイント

  • SFTが分布内性能で最も強い
  • GRPOは転移で僅差ながら優勢
  • LoRAは全パラメータより優れる

数字で見る

この記事に出てくる数字

モデル規模 0.6B-32B
SFT優位設定 15/18
GRPO優位設定 29/54

どこで使えるか

ツール呼び出しの安定性を重視する人向け。SFTとLoRAで実装がシンプル arXivで論文公開済み

スポンサーリンク

解説

かみくだいて説明します

Md Tahmid Rahman Laskarさんらの研究チームが、arXivに0.6Bから32Bの6つのQwen3モデルを使った制御実験の結果を発表しました。ツール呼び出しの性能は、学習データの質、適応方法、モデルの規模が同時に影響することが分かります。
6つのモデルで比較したんですね。手法の違いが実際にどれくらい差が出るんですか。
分布内での性能では、LoRAを使ったSFTが15 out of 18で一番強かったです。クロスデータセットの転移ではGRPOが29 out of 54で勝っていますが、差は1ポイントに満たないです。SFTのあとにGRPOを続ける組み合わせは、どちらの場面でも最も強い結果にはほとんどなりませんでした。
分布内ではSFTが圧倒的ですが、転移ではGRPOが僅差で上回る。では、データ混ぜ合わせは転移性能を落とさずに済むんですね。
混ぜ合わせは転移性能が一貫して高く、専門的な分布内学習に近い水準を維持しています。これは手法に関わらず同じ傾向で、学習データを多様にすれば実戦での汎用性が上がることを示しています。
現場で組み込む技術者から見ると、手法の選択は手順の難易度で決まるんですね。計算量や手順の違いを具体的に知りたいです。
計算コストの面ではLoRAが重パラメータの微調整より優れていて、pretrainedエージェントの振る舞いをよりよく保ちます。SFTとGRPOを比べると、GRPOはポリシー最適化の反復が必要で、SFTより訓練ループが長くなります。
GRPOの反復が具体的に何を意味するか、まだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、SFTは正解のカードを何度も見せてパターンを覚える練習です。GRPOは正解を教えずに自分で行動させて報酬をもらい、その結果から策略を自分で更新する練習です。策略の更新には何回も試行が必要なので、SFTより時間がかかります。
なるほど。モデルが大きくなってもSFTの優位性は変わらない。0.6Bと32Bで差はどのくらいですか。
0.6Bから32Bの範囲では、SFTの優位性は変わりません。モデルの規模が大きくなっても、分布内性能ではSFTが最も強く、15の18の設定で最良です。
最後に、この実験の範囲外でまだ解けていない点はどこですか。
32Bを超える規模や、ツール呼び出し以外の複雑なエージェント作業への適用については、そこはまだ分かっていません。今回の結果は0.6Bから32BのQwen3に限った制御実験なので、それ以上の規模や異なるアーキテクチャへの一般化は今後の検証を待たなければなりません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文