Kimi K2.7 Code にコーディングの RL を適用し、外部のタスクへの転移を測る話

論文

Kimi K2.7 Code にコーディングの RL を適用し、外部のタスクへの転移を測る話

スポンサーリンク

Kimi K2.7 Code にコーディングの RL を適用し、6 本のベンチで正解率を上げた。

この記事のポイント

  • エージェントの最終段階で要件を落とす
  • 1700件のタスクで強化学習を適用
  • 6ベンチで改善、ただし1分野では届かない

数字で見る

この記事に出てくる数字

タスク数 1,700

どこで使えるか

コーディングエージェントの改善を自前で試す人向け。1エポックのGSPOで正解率が上がり、推論コストも下がる Kimi K2.7 Codeで公開済み LoRAアダプタでGSPO適用

スポンサーリンク

解説

かみくだいて説明します

Sushant Mehtaらの研究チームが、arXivに10月1日に論文を公開しました。コーディングAIが最後の段階で要件を落としたり、既存の機能を壊したりする問題を、強化学習だけで解決する手法を発表しています。対象にしたのは1TパラメータのオープンモデルKimi K2.7 Codeで、1,700件のタスクで強化学習を1エポック行い、6つの外部ベンチマークでpass@1を測定した結果、SWE-Bench Proが60.1から64.8、DeepSWEが31.0から43.4、Terminal-Bench 2.1が67.4から82.0、Terminal-Bench 3が1.4から12.1、Terminal-Bench 4が0.0から7.6、SWE-Marathonが5.0から25.0と、いずれも向上しました。
最後の段階で壊れてしまうんですか。現場でモデルを組み込む技術者から見ると、この学習で使う1,700件のタスクは、実際に開発現場で出会うものに近いんですか。
開発現場のコードベースをそのまま問題にしたリポジトリタスクが1,000件、ターミナル上の操作を問うタスクが700件です。正解判定には隠されたテストを使い、既存の動作を壊した時点でスコアがゼロになる仕組みになっています。
既存の動作を壊したら即ゼロなんですね。では、学習に使うのはモデル全体ではなく、一部分だけなんですか。
全体ではなく、rank-32のLoRAアダプターという小さな層だけを学習します。通常のモデルを丸ごと書き換えるのではなく、既存の知識の上に薄い付箋を貼って、正解の出し方だけを練習するイメージです。
付箋を貼るだけで、外側のテストでも点が上がるんですか。
5つの独立したタスクセット全体で有意な向上が確認できました。特に学習後に公開された3つのセットでもpが0.004と出ているので、丸暗記ではなく、要件を守りながら既存機能を壊さないという能力そのものが身についています。
丸暗記ではなく、ちゃんとルールを守って動くようになったと。では、新しいモデルが出たときの話を聞かせてください。この手法はKimi K2.7 Codeにしか使えないんですか。
Kimi K2.7 Codeへの適用結果を報告していますが、他のモデルへの適用や具体的な計算資源については触れていません。
計算資源の具体的な数字は不明なんですね。では、学習中に既存の機能が壊れないよう、どう守っているんですか。
pass-to-passテストという、元の機能が正しく動くかを毎回確認する仕組みをrewardに組み込んでいます。ここが一つでも外れたらスコアがゼロになるため、モデルが元の水増しをしないように設計されています。
元の水増しをしないように設計されていると。最後に、この手法が現場のコーディングAIにどう響くか教えてください。
DeepSWEとTerminal-Bench 3では、途中の操作の回数の中央値が24〜35%減っています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文