SELFがQwen3-8BでSDPO比6.4ポイント、GRPO比4.1ポイント向上
この記事のポイント
- 教師へのフィードバック条件化だけでは不十分
- 環境応答のモデル化を同時に最適化
- Qwen3-8Bで他手法を上回るも比較範囲限定
数字で見る
この記事に出てくる数字
| τ-bench成功率 | 6.4/4.1pp |
|---|
どこで使えるか
環境応答を予測しながら教師から知識を移したい人向け。フィードバック条件化だけより効果的 コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Hangxi Guoらの研究チームが提案した、対話環境で動く言語モデルを訓練する自己蒸留の枠組み「SELF」についてです。Qwen3-8Bでベンチマークの成功率を従来の手法を最大で6.4ポイント上回る結果を出しています。
報酬がない中でどう動かすんですか?
従来は外部から正解の点数をもらう手法が主流でしたが、それが使えない場合、環境が返す反応そのものを教師信号に置き換える考え方がありました。ただ単に教師モデルにその反応を教え込むだけでは不十分で、環境がどう動くかを自分で予測する部分を一緒に鍛える必要があったのです。例えば、ゲームの敵の動きを先読みして練習するのと、ただ攻略本を暗記するのでは、応用が利く度が違うのと同じです。
環境の反応を予測するんですか。それは作る側から見て、既存の学習パイプラインに組み込める話ですか。
環境の応答を予測するモジュールと、教師から知識を移すモジュールを同時に最適化する形です。実装の手間は従来の自己蒸留とそれほど変わらないですが、環境とのやり取りを記録するログが必ず必要になります。
なるほど、ログが要るんですね。では、研究者の立場から聞きますが、どこが新しい成果とされているんですか。
環境モデルを鍛えることが自己蒸留の精度を上げ、逆に自己蒸留が環境モデルの予測能力を高めるという相互強化の仕組みが見つかった点です。Qwen3-8Bでτ-benchの成功率をSDPOより6.4ポイント、GRPOより4.1ポイント上げ、AppWorldのタスク完了率ではそれぞれ10.71ポイント、3.57ポイントの差がつきました。
10.71ポイントも開いたんですか。それって、モデルのサイズが同じ条件での比較ですよね。
はい、モデルは同じです。学習手法だけを変えているので、純粋に手法の違いが数字に出ています。
分かりました。では、AIを実務で使う側から伺いますが、現場で困っている課題のどれが解消されるんですか。
環境からのフィードバックの使い方を見直し、方策学習と環境応答のモデル化を組み合わせて、報酬が得られない場面でもエージェントの行動を改善します。
なるほど、ラベル作りが楽になるんですね。最後に、この手法の限界や今後の展開について教えてください。
より大規模なモデルや複雑なタスクでの検証はまだ進んでおらず、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。