インタラクティブなソフトのバグを AI が見つける SWEeper-Bench、開発者の修正待ちを減らす話

論文

インタラクティブなソフトのバグを AI が見つける SWEeper-Bench、開発者の修正待ちを減らす話

スポンサーリンク

SWEeper-Benchが公開。15のAIがインタラクティブなバグを発見できたのは59.0%。

この記事のポイント

  • インタラクティブなバグ発見は評価されていなかった
  • 200アプリの修正から200タスクを作成して測定
  • 15エージェントの最高が59%。発見がボトルネック

数字で見る

この記事に出てくる数字

タスク数 200
最高精度 59.0%
比較エージェント数 15

どこで使えるか

インタラクティブなバグを自前で発見したい人向け。15エージェントの最高が59%。 GitHubで公開済み 星2のため信頼度は低め

スポンサーリンク

解説

かみくだいて説明します

コードを書く人工知能が作るインタラクティブなソフトウェアに潜むバグを、人工知能自身が探せるかを試す「SWEeper-Bench」が公開されました。200のタスクから構成され、最新の人工知能15体のうち最も優れたものでも正解率は 59.0% です。
15体も試した中で、トップでも 59.0% というのは意外です。開発現場で使う人工知能を評価する際、これまでのテストとどこが根本的に違うんですか?
報告では一番の壁が「バグの特定」だとしています。コードだけを見ても見えず、実際にブラウザで操作を繰り返して初めて現れる失敗があるからです。例えば、メニューを開いて項目を選んで保存するまで押さないとならないボタンが、途中の段階でだけ反応しなくなる仕組みです。
途中の段階でだけ反応しなくなるというのは、まだイメージが掴めません。
例えば、ログイン画面でパスワードを入れても次のページに進めず、メニューを一度閉じて開き直すと進めるような状態です。コード上は問題ないように見えて、操作の順番がずれるとだけ失敗が起きる仕組みです。
なるほど。コードを調べるだけでなく、実際に動かして確かめる必要があるわけですね。
全部自分で探さないといけません。人工知能にはコードの全体と、「Focalboard の共有機能とメンバー設定にある問題を調べて直してください」のような広い指示だけが出されます。そこから自分で操作の手順を設計して、失敗を引き起こすまで試す必要があります。
確かに、指示が広い分だけ試行錯誤の量が増えそうです。このタスクは、実際の開発現場で使われているものをそのまま使っているんですか。
実際の開発現場で使われているウェブアプリケーションから、過去に報告されたバグ修正を基に作られています。人工知能が修正した結果は、ブラウザでユーザーが見る画面の変化を判定する装置で評価されます。
実際の問題は、人工知能がコードだけを見てバグを特定する段階で、ユーザーの操作を必要とする失敗を引き起こせないことが多いと要旨で指摘されています。
公開されています。コードの全体は GitHub で誰でも確認でき、紹介ページでは詳しい使い方と結果の一覧が公開されています。
最後に、人工知能が 59.0% の正解率を越えるためには、今の仕組みにどんな改良が必要だと思われますか。
バグの再現がいちばんの壁で、関連する機能にたどり着いても失敗を引き起こせなかったり気づけなかったりします。
あわせて、先月には実世界のソフトウェア開発タスクを用いてコーディングエージェントの能力を評価するベンチマークに取り組む別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文