MCPサーバーのランダム抽出で、初期化を完了する割合は48.8%に留まる
この記事のポイント
- ランダム抽出は400件で初期化完了48.8%
- ベンチマークはBFCLが16.7%の重複
- 実データは0.4%で全球除去なしは繰り返し
数字で見る
この記事に出てくる数字
| 初期化成功 | 48.8% |
|---|---|
| ツール重複率 | 2.8% |
| BFCL重複率 | 16.7% |
どこで使えるか
arXivで論文公開済み スクリプトとシード値も公開
スポンサーリンク
解説
かみくだいて説明します
Haseeb Mohammed Afsar 氏が arXiv に発表した研究で、ツール接続規格 MCP のサーバー登録台帳から、400 個のサーバーを無作為に抽出して実際に通信を試したところ、半分近くの 48.8% しか初期接続の手順を完了しなかったことが分かりました。
なるほど、登録されているのに実際に動かないのが半数近くなんて意外です。無作為に選んだ場合と、人が選んで整理した場合では、どれくらい差が出るんですか。
人が選んで整理した方では 66.7% が接続を完了しています。動かなかった理由の大半は認証情報の不足ではなく、37.5% のサーバーがそもそも起動しない状態だったということです。
37.5% が起動しないとなると、かなり深刻ですね。接続は成功した 195 個のサーバーについて、工具の定義に違反しているものは見つかったんですか。
定義違反はゼロでした。2,766 個の工具について厳密にチェックしましたが、致命的なエラーは一つもありませんでした。代わりに注目されたのは安全注釈で、無作為に選んだ方では 58.8% が注釈を付けておらず、人が選んだ方でも 41.5% でした。
人が選んだ方でも 4 割近く注釈がないとなると、安全対策は結局手抜きに近い状態なんでしょうか。では、こうした実際の工具と、他のテスト用データセットでは、どれくらい内容が被っているんですか。
実際の MCP の工具同士で似通った記述が見つかる割合は 2.8% でした。そのほとんどは同一个体の中だけで、別の作者同士が似た記述を使うことは 0% でした。
作者が違うのに似た記述が全くないとなると、実物はかなり多様ということですね。テスト用データの方ではどうだったんですか。
テストデータの方では被りが目立ちました。BFCL v4 では 16.7% の工具が似通った記述を持っており、その大半が独立したタスクの間で重複していました。辞書で例えると、全く別の項目なのに説明文がそっくりなページが 16 枚に 1 枚ある状態です。
独立したタスク同士で 16.7% も被っているとなると、テストとして使う際に同じ問題を何度も数えることになりそうです。では、データセット内の名前と説明が完全に同じ行は、どれくらいあるんですか。
実際の実 MCP では 0.4% でしたが、BFCL v4 では 68.8%、UltraTool では 85.6% でした。
8 割以上が同じ行だと、テスト結果を比べる際に同じ問題が何度もカウントされてしまいそうです。最後に、この研究から読み取れる実際の開発への影響は、どの程度具体化しているんですか。
BFCLやUltraToolの行を除外せずに統計を取ると、本来の性質ではなく単なる繰り返しを測ることになります。
重複を除外しないと正しい評価ができないというのは、開発現場では結構な手間に思えますが。
確かに手間は増えますが、重複を除外した上で評価をやり直す作業は、既に公開されているスクリプトとシード番号を使えば誰でも再現できます。今後、テストデータ側の整理基準がどう変わるかはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。