SchrodingerRepoが、コード記憶と推論を区別する評価手法を公開
この記事のポイント
- 静的リポジトリ評価では暗記と推論の区別がつかない
- テスト時に変数として動的にリポジトリを変形して評価した
- 暗記に依存している可能性を示した。ただし変形レベルは4段階のみ
数字で見る
この記事に出てくる数字
| 変換レベル数 | 4段階 |
|---|---|
| 評価ベンチ | SWE-bench |
| QAベンチ | SWE-QA |
どこで使えるか
コード記憶と推論を区別したい人向け。静的リポジトリの暗記を検出できる GitHubで公開済み SWE-bench VerifiedとSWE-QAで評価
動画を見る
スポンサーリンク
解説
かみくだいて説明します
私、最近、リポジトリレベルのコーディングベンチマークが評価の標準になっていますが、本当にモデルの推論能力を測れているんですよね?
確かにその懸念は正しいです。ベンチマークの信頼性を保つためには、データ漏えいのリスクをまず共有する必要があります。
既存の評価手法って、結局有名なオープンソースリポジトリを回しているだけじゃないんですか?
その通りで、訓練データに既に含まれているリポジトリをテストに使えば、モデルは単なる暗記で高スコアを出せます。
そこでarXivで公開されたSchrodingerRepoという評価フレームワークが注目されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
評価時にテストリポジトリを動的に生成し、問題文の再構築、名前空間の置換、ファイル配置の並び替え、機能維持したコード書き換えの4段階で変換します。
中身はそのままに外見だけ変えるってことですね!実行可能な状態を維持しつつ、モデルが慣れ親しんだ手がかりを消す設計なんですね!
変換後のベンチマークで、具体的にどれくらい性能が落ちるんですか?
SWE-bench VerifiedとSWE-QAでの評価結果、従来の静的リポジトリベースラインと比較すると、モデルを問わず性能が確実に低下し、インタラクションコストが大幅に増加します。
私、静的なテスト環境と比べた場合、探索と特定の手間がどれだけ重くなるんですか?
追加コストの大部分はリポジトリの探索とコード特定が困難になることから発生し、暗記に依存する部分が明確に浮き彫りになります。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。名前やファイル配置、実装パターンを変換することで、エージェントが暗記した手がかりを消すことができます。
実際の試し方って、どうすればいいんですか?
GitHubで公開されているリポジトリをクローンし、SWE-bench Verifiedの環境に組み込んで実行してみてください。
エージェントが覚えた手がかりに一部頼っているかもしれず、動的に作り直したリポジトリでの評価が要ると示唆されています。
動的生成評価で暗記を排除する新しい基準ですね。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。