LLMが実行時の挙動を推論できるか、実リポジトリのテスト実行から採った正解で測る新基準

論文

LLMが実行時の挙動を推論できるか、実リポジトリのテスト実行から採った正解で測る新基準

スポンサーリンク

SWE-Fluxが公開。実リポジトリのテスト実行から正解を集め、LLMの最良精度は37%。

この記事のポイント

  • LLMの動的推論能力は不明確
  • 12リポ480例で自動採点ベンチ作成
  • 最高37%。データフローは苦手

数字で見る

この記事に出てくる数字

インスタンス数 480
リポジトリ数 12
最高精度 37%

どこで使えるか

コードの実行結果を推論したい人向け。静的解析ではなく動的挙動の評価が要る 論文公開済み モデル評価結果付き

スポンサーリンク

解説

かみくだいて説明します

LLMがコード生成で注目されていますが、実際に走らせたときの挙動を正しく推論できているのでしょうか?
確かにその通りです。生成コードが文法通りでも、実行時に想定外の動きをするケースは現場で報告されています。
既存の評価基準だと、コードの静的な理解を主に評価しているんですよね?
その通りです。従来のベンチマークはスニペット単位や静的解析が中心で、リポジトリ全体での動的な実行推論を評価する手段が乏しい状況です。
そこでarXivに公開されたSWE-Fluxというリポジトリレベルの動的実行推論ベンチマークが注目されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
12の実在するPythonリポジトリから480のインスタンスを構成し、テスト実行を計測することで正解を自動取得します。制御フローやループ、例外処理、データフロー、プログラム不変条件を網羅しています。
テスト実行のログから正解を拾うなら、モデルが推測するのではなく事実ベースで評価できるんですね!
計測パイプラインにより、入力変形でも新たなバリエーションを生成できる設計となっています。
実際のモデル性能はどうだったんですか?
5つのLLMを評価した結果、最高精度はわずか37%でした。不変条件や単純なループでは比較的好調ですが、データフロー、手続き間実行、精密な状態推論、スイート全体の集約では大幅に苦戦しています。
従来手法と比べた性能差は明確だったんですか?
最上位モデルでも正解率は37%にとどまり、パイプラインで生成された変種データではさらに難易度が高まりました。
でも、ベンチマークを用意しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。評価枠組みの提供であり、モデル自体の推論能力を底上げする手法ではありません。SWE-Fluxは480のインスタンスから構成され、12のPythonリポジトリにわたっています。
実際の開発現場で試す場合はどうすればいいんですか?
パイプラインを使えば、入力を変化させて新しい問題を作って、リポジトリのベンチマークを自動で増やせます。
12の実在するPythonリポジトリで480のインスタンスを自動収集し、ゴールドアンサーもLLM判定ではなくテスト実行から得ています。
最良モデルでも正解率は37%にとどまり、このタスクはまだ難しいとされています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文