マルチターンでコードを書く AI の指示順守を測る MTAC-IFBench、6分野18分類の制約で評価する話

論文

マルチターンでコードを書く AI の指示順守を測る MTAC-IFBench、6分野18分類の制約で評価する話

スポンサーリンク

MTAC-IFBenchが、マルチターンでコードを書くAIの指示順守能力に重大な欠陥があることを明らかにした

この記事のポイント

  • 既存ベンチは単発評価が中心
  • 7ターン91制約の多ターン評価
  • セッション長で性能が低下

数字で見る

この記事に出てくる数字

カテゴリ数 6+18
平均ターン数 7.04
平均制約数 91.33

どこで使えるか

マルチターンでコード生成するAIの開発者向け。セッションが長くなるほど指示順守が低下する課題の把握に。 論文にコード公開の記載なし ベンチマークの構成要素は論文から再現可能

スポンサーリンク

解説

かみくだいて説明します

Bosi Wenらの研究チームが 2026 年 9 月 14 日、複数回の会話で動くコード作成の人工知能が、開発者の指示をどれだけ守れるかを評価する MTAC-IFBenchを発表しました。開発の途中で出す制限条件を、人工知能が何回もやり取りを続ける中で正確に守れているかを調べるものです。
複数回の会話で動くコード作成の人工知能が、開発者の指示をどれだけ守れるかですね。作る側の技術者から見ると、いまの人工知能は実際に何回くらいの会話まで対応できているんですか。
平均で 7.04 回のやり取りの中で、 91.33 個の制限条件が出されます。従来の基準は最終的なコードの正解か、一回限りの簡単な指示対応だけを対象にしていましたが、今回は開発の途中で出す細かなルールを 6 と 18 の分類に分けてチェックします。
開発の途中で出すルールを 6 と 18 に分けてチェックするんですね。では、これを測る仕組みはどうなっていますか。
各制限条件と機能の要件ごとにチェックリストを作り、それを自動で確認するスクリプトと判定用の人工知能を組み合わせて検証します。これまでに公開されているコードを書く人工知能の多くが、この基準で大きく点数を落としています。
自動で確認するスクリプトと判定用の人工知能でチェックするんですか。では、この仕組みを既存の開発環境に組み替えるのは容易ですか。
具体的な組み替えの手順や必要な環境については、そこはまだ分かっていません。ただ、会話が長くなるほど制限条件を順守する割合が急速に悪化する傾向が確認されています。
具体的な組み替えの手順はまだ分からないんですね。研究している人から見ると、従来の基準と比べてどこが新しくなっているんですか。
従来の基準は最終的なコードの正解か、一回限りの簡単な指示対応だけを対象にしていました。今回は開発の途中で出す指示を、人工知能が計画を立てて外部の道具を使いながら何回も繰り返す中で守れるかを測れる点が新しいです。
計画を立てて道具を使いながら何回も繰り返す中で指示を守るんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
まるで現場の監督が工程表を出しながら、作業員が道具を何度も取り替えて作業を進めるようなイメージです。工程表の指示を、作業員が何回も道具を替えながら正確に守り続けるかを測る基準だと思ってください。
工程表の指示を道具を替えながら守り続けるかを測る基準ですね。最後に、この評価基準を使って今後どのような人工知能の評価が進む見通しですか。
人工知能が指示を何回ものやり取りの中でどれだけ守れるかの指標です。ただし、現在の人工知能の性能は、会話の長さが増すにつれて急速に劣化することが分かっています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文