動作するアプリからタスクを自動生成する ProgramDistill、コーディング AI の評価

論文

動作するアプリからタスクを自動生成する ProgramDistill、コーディング AI の評価

スポンサーリンク

ProgramDistillが、動作するアプリからコーディング AI の評価タスクを自動生成した。

この記事のポイント

  • フルアプリ復元でGPT-6 Astraが49.2%
  • 部分復元は深さ8で成功率32%に低下
  • 26アプリ1975動作を自動生成

数字で見る

この記事に出てくる数字

発見された動作数 1,975
構築されたタスク数 4,063

どこで使えるか

動作するアプリから評価タスクを自動生成したい人向け。手動記述不要でスケーラブル ベンチマークとして公開済み コード公開は記載なし、評価用データセット

動画を見る

スポンサーリンク

解説

かみくだいて説明します

ProgramDistill というコード生成 AI の評価基準を、Microsoft のチームが 2026 年 9 月 17 日に arXiv に公開しました。Web アプリを動かしながら機能を発見し、AI の実力を測るものです。
動かしながら測るんですか。今までのテストとどう違うんですか。
従来は課題文で正解を指定していましたが、今回は実在する完成品を相手に、そこから機能を自分で見つけて実装する形です。26 個のアプリから 1,975 個の動作パターンを自動で見つけ出し、4,063 個の問題を作りました。人の手は一度も使っていません。
完成品を見て自分で中身を読み解くテストですね。それを 9 種類の AI で試したんですか。
はい。9 種類の最先端 AI で試した結果、GPT-6 Astra が 49.2%、Claude Opus 5 が 28.8% でした。全部を元の状態に戻す完全な復元でも、半分ほどしか正解に届いていません。
復元が半分以下というのは厳しいですね。段を追うごとに成功率はどれくらい変わるんですか。
部分復元では、深さが 1 段階のときは成功率が 100% と 96% でしたが、8 段階まで深くなると 64.0% と 32% まで落ちました。段を追うごとに正解率が急激に下がる傾向です。
深さが 8 段階というのは、具体的にどのくらいの作業量になるんですか。まだ専門的な言葉でよく掴めません。
正確には、アプリの機能を何段階に分けて順番に組み戻すかという距離です。例えば家を解体して、柱を先に立てるか、屋根を先に載せるかという順番の難しさを表しています。
では、作る現場の技術者から見ると、公開されているのは問題の自動生成パイプラインだけなんですね。開発でそのまま使えるんですか。
mine-craft-patch というパイプラインで、26 アプリケーションから 1,975 の振る舞いを自動生成し、4,063 のタスクを公開しています。
最後に、このテストでまだ解けていない部分はどこですか。
復元深度が深くなるほど正答率は低下し、64.0%や32%まで落ち込みます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文