プログラムを最初から作る AI の訓練環境を拡張する ProgramGym、コーディングエージェントの長期開発を支える話

論文

プログラムを最初から作る AI の訓練環境を拡張する ProgramGym、コーディングエージェントの長期開発を支える話

スポンサーリンク

Program-Agentがベースモデルを55.71%、SFTモデルを56.25%に高めた

この記事のポイント

  • 長期開発を sustained する環境がなかった
  • ProgramGym で 1648 環境を構築・学習
  • Qwen3.8-27B は 56.25%。ただし SFT 限定

数字で見る

この記事に出てくる数字

環境数 1,648

どこで使えるか

長期開発を伴うコーディングAIを自前で構築する人向け。検証可能な環境が不足する課題を解決 論文公開に伴いProgramGymも公開予定

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Chengyi Yangらの研究チームが 10 月 9 日に arXiv に公開した ProgramGym は、コーディング AI にプログラムを最初から組み立てさせる訓練環境を自動で作るフレームワークです。リポジトリから実行環境のビルドを自動で修復しテストの品質を上げるパイプラインで、C や C++、Go、Rust の 4 つの言語に合わせて 1,648 個の訓練環境を確保しました。
4 つの言語で 1,648 個も作れたんですか。AI が自分で仕様を探って設計を決める訓練って、具体的にどうやるんですか。
AI がまず参考にするプログラムを分析して、次に実装に入り、最後に別の役割の AI がレビューする流れを分けています。実装中にコンパイルエラーが起きた時やテストが失敗した時に、どこが間違っていたかを修正する役割も別に持たせているため、長い開発でも途中で道に迷わずに進められる仕組みです。
役割を分けることで、エラーが起きた時の対応も別枠にするんですか。作る側からすると、この仕組みは既存の開発ツールに組み込める話ですか、それともまだ先の話ですか。
ProgramGymは、ゼロから長い工程でプログラムを組み立てるコーディングエージェントの研究を今後さらに進めるために公開する。
開発ツールに組み込めないんですか。では、現場のエンジニアが使うには、どうすればいいんですか。
はい、ProgramGymとして公開されます。これにはProgram-EnvとProgram-Agentが含まれており、長期的なプログラム再現のためのスケーラブルな訓練環境を提供します。
研究用の基盤として公開されるんですか。では、実際に訓練を回した時の性能向上はどれくらい見込めるんですか。
ProgramBench という評価基準で測った結果、Qwen3.8-27B というモデルをこの訓練環境で学習させると、正答率が 34.87 パーセントから 42.84 パーセントに上がります。さらに Program-Agent の役割分けを導入すると、ベースモデルで 55.71 パーセント、教師あり学習済みモデルで 56.25 パーセントを超え、一部のトップクラスのモデルを上回る数値が出ました。
役割分けを加えると 56 パーセントを超えるんですか。ただのコード生成ではなく、プログラムを最初から作り直す訓練がこれだけ効く理由を、もう少し噛み砕いて説明してもらえますか。
従来の訓練では AI に答えを提示して穴埋めさせる形が主流でしたが、今回は AI 自体が仕様を調べ、設計図を描き、実装してテストを通すまでを自分で回すため、実際の開発で必要な判断力を鍛えられる点です。家事のスケジュールを全部 AI に任せて、予定が崩れた時に自分で組み直す訓練をしているようなイメージです。
自分で組み直す訓練をしているようなイメージですね。最後に、この訓練環境を使った AI が実務で使えるようになるのは、まだ先のことですか。
ProgramGymを公開して、コードを最初から作るコーディングエージェントの研究をさらに支援する予定です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文