Qwen-3-27B の訓練データを再構築する RSR、複雑なタスクの成功率を上げる話

論文

Qwen-3-27B の訓練データを再構築する RSR、複雑なタスクの成功率を上げる話

スポンサーリンク

RSRが Qwen-3-27B の訓練データを再構築し、複雑なタスクの成功率が上がった

この記事のポイント

  • 専門ハルネスの介入が展開時に利用不可
  • 1つの模型で多様なハルネスから軌道再構築
  • 759タスク解決。ただし比較対象は限定

数字で見る

この記事に出てくる数字

モデル規模 27B
解決タスク数 759

どこで使えるか

複雑なタスクを自力で解決したい人向け。専門ツールなしで推論能力を高められる 論文に記載のモデル・コードは公開されていない

動画を見る

スポンサーリンク

解説

かみくだいて説明します

arXivに2026年10月5日に出された論文で、Recursive Self-Rewrite、通称RSRという手法を発表しました。Qwen-3.8-27Bというモデルを1つ使い、複数の外部ツールを使う環境で成功した手順を、一般的な環境でもそのまま使える訓練データに書き直します。
複数の環境で成功した手順を、1つのモデルが使える形に直すんですか。
そうです。手順をextractしてrunbookという手順書にまとめ、検証漏れがないかチェックするcriticが修正を指示し、executorが新しい環境で実際に動かす仕組みです。これをおよそ3K件のタスクで試したところ、3つの環境を合わせて759件を解けました。
3つの環境を合わせて759件というのは、1つの環境だけを使った場合よりどれくらい上回るんですか。
およそ34.3%上回ります。書き直した訓練データは2,001本の成功例から11,094本に増やして、モデルに直接学習させました。
2,001本の成功例から11,094本に増やすのは、成功した手順を何度も形を変えて書き直すからですか。
正確には、criticが手順書に穴がないか何度も見直させる過程を繰り返すため、1本の成功例から複数のバリエーションが生まれます。学習後の性能をpass@3で測ると、3回挑戦して1回でも成功した場合の割合が、Terminal-Bench 2では57.0%から74.2%に上がりました。
作っている技術者から見ると、現場で使うツールをそのまま置き換えられる話になりますか。
置き換える話ではなく、複数のツールを使う環境で得た経験を、1つのモデルが単独で使える能力に転写する話です。Terminal-Bench 4では1.5%から9.1%、Terminal-Bench Hardでは39.0%から63.0%の伸びを示しています。
1.5%から9.1%という伸びは、まだ解けていなかった難しいタスクに効いているんですか。
そうです。特に難易度の高いTerminal-Bench Hardで39.0%から63.0%と大きく伸ばしたのが特徴です。Software Terminal-Benchでも3.0%から6.0%、Long-Horizon Terminal-Benchのプロセス報酬も0.21から0.29に改善しています。
専門の環境に依存する成功例を、一般的な環境でも使える訓練データにできなかった点ですね。では、研究している人から見ると、どこが新しいんですか。
専門の環境に依存する成功例を、一般的な環境でも使える訓練データにできなかった点です。RSRは手順書への書き出しと検証漏れのチェックを繰り返すことで、その壁を越える形になりました。
書き直した手順書が必ず成功するとは限らないんですか。
そこはまだ分かっていません。論文では記録された環境での結果を報告していますが、実際の運用環境での安定性については触れていません。
最後に、研究している人が次に注目するのは、どの部分になりますか。
多様なハッチャーによる経験を、一般ハッチャーで動作するモデルが再利用可能な能力へと再構築する方法を示しています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文