SWEエージェントの軌跡を、同じ合否同士で比べて自己採点し学習に使う

論文

SWEエージェントの軌跡を、同じ合否同士で比べて自己採点し学習に使う

スポンサーリンク

BSRがQwen3に効き、SWE-benchで性能が一貫して向上した

この記事のポイント

  • 実行テストで二分評価しかできなかった
  • 同じタスクの軌道間でデバッグ行動を比較し補助報酬に変換
  • Qwen3-14Bと32Bで改善。ただし別訓練報酬モデルは不要

どこで使えるか

SWE-benchで改善したQwen3の学習を、追加環境なしで補強したい人向け。 論文公開済み SWE-benchで検証済み

スポンサーリンク

解説

かみくだいて説明します

Yiran Wuらの研究チームが、2026年10月9日に論文を発表しました。ソフトウェアのテストで合格か不合格かの二択しかなかった学習手法に、自分で比較して段階的な評価を加える「Behavioral Self-Rewarding」を提案しました。
二択しかなかったんですね。自分で比較して段階的な評価を加えるって、具体的にどうやるんですか。
同じタスクで同じく合格した複数の実行履歴の中から、どの手順の方が丁寧な修正をしていたかを、学習中のモデル自身がペアで比較します。その比較結果を足し合わせて点数に変え、合格という枠組みはそのまま保ったまま、追加の学習信号として使います。
追加の学習信号ですね。新しいテストを回す手間が増えるんですか。
増えません。すでに集めた実行履歴だけで完結するため、環境との新しいやり取りは必要ありません。SWE-bench VerifiedとSWE-bench-Liveの二つのベンチマークで、Qwen3-14BとQwen3-32Bの両方で一貫してスコアが上がりました。
既存のデータだけでスコアが上がるんですね。どのくらい改善したんですか。
具体的な数値の開きは論文に明記されていません。そこはまだ分かっていません。モデルが自分で出した比較判断を、追加の正解ラベルとして使えるという位置づけです。
自分で出した判断を正解ラベルにするんですか。既存の合格判定と何が違うんですか。
既存の合格判定はテストを通ったか通らないかの線引きだけです。今回提案した方法は、通った中でも修正の質に差があることを、モデル自身が相対的に見て点数をつける点です。同じテストで全員合格したクラスを想像してください。先生が赤点と青点を付けるのではなく、解答用紙の書き方の丁寧さだけで順位をつける感じです。
解答用紙の書き方で順位をつけるんですね。この手法は他のモデルにもそのまま使えますか。
論文ではQwen3の二つのサイズで検証しています。他のモデルへの適用については、具体的な互換性の確認はまだ行われていません。そこはまだ分かっていません。
最後に、この手法が実務で使われるのはいつ頃でしょうか。
実務での活用は、Qwen3-14Bや32BでSWE-bench上での改善が確認された段階です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文