Qwen3.8-27B を基盤に自己改善ループを組み込んだ Terminal-RSI、ターミナル操作のタスクを解決する話

論文

Qwen3.8-27B を基盤に自己改善ループを組み込んだ Terminal-RSI、ターミナル操作のタスクを解決する話

スポンサーリンク

Terminal-RSIがターミナルベンチ 4.0 で 19.84%、2.1 で 86.52% の正答率を出した

この記事のポイント

  • 検証結果を政策更新に活かせていなかった
  • 再帰的書き換えと政策改良を交互に実行
  • Terminal-Benchで最高86.52%。ただし2.1のみ

どこで使えるか

ターミナル操作の自動化を自前で改善したい人向け。検証結果を学習に活かし、段階的に性能を上げられる コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

十月十六日に発表された Terminal-RSI-27B は、Qwen3.8-27B をベースに五つの段階で改良し、Terminal-Bench 4.0 で 19.84%、Terminal-Bench Hard で 79.00% を達成した新しいエージェントです。
五段階も経るんですか。従来の学習と比べて、どこが新しいんですか?
従来の学習は一度きりですが、この手法は検証された実行記録を自分で書き直す Recursive Self-Rewrite と、それを基に方針を磨く Recursive Policy-Refine を交互に繰り返します。例えば、テストで間違えた解答を直して、また次の問題に挑む練習を延々と続けるようなイメージです。
自分で間違えたところを直しながら練習を繰り返すんですね。その書き直しと方針の更新を、現場のコードにそのまま組み込めますか。
段階ごとに学習率を変え、批評モデルを次の段階に引き継ぐ Warm-up Critic Model を使います。ベースモデルから RSR-1、RPR-1、RSR-2、RPR-2 を経て Terminal-RSI-27B まで進むため、一度に全部を置き換えるのではなく、段階を追って動作を確認する形になります。
段階を追って確かめるんですか。その中で、部分点のような中途半端な進捗も評価に含める仕組みはありますか。
あります。Family Dense Reward でタスクの種類ごとの進捗を合わせ、Success-Prioritized Reward で厳密な成功と限定的な部分点を分けました。例えば、マラソンの途中地点で距離を測るタイムキーパーと、ゴールテープを切ったかどうかを判定する審判を別々に置くような役割です。
厳密な成功と部分点を分けて測るんですか。実際に試した結果、厳密な完了率はどれくらい上がりましたか。
厳密な完了は 46件中ゼロから 5件に増え、プロセス reward は 0.21 から 0.37 に上がりました。SWR100 の成功率も 3.00% から 6.00% と倍増しています。
成功率が倍になったんですか。ただ、五段階も経つと処理に時間や資源がかかりそうですが、そこはどうなっていますか。
各段階で発見された動作を一つずつ蓄積し、局所的な修正から厳密な最終検証まで段階的に進める設計です。計算時間やコストについては、論文の中で具体的な数値は示されていません。
最後に、この五段階の改良は他のモデルにも応用できますか。
現在の論文では Qwen3.8-27B 向けの結果だけを示しているため、他のベースモデルへの適用性や、より大規模なモデルでの性能については、そこはまだ分かっていません。
あわせて、今月に出た別の研究も、再帰的自己改善という同じやり方を使っています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文