モデルとハarnessの組み合わせで、強さの順位が入れ替わることが分かった
この記事のポイント
- モデルとハルネスの相性
- 66組み合わせを3ベンチで評価
- ClaudeがOpenHandsで7.94点差
数字で見る
この記事に出てくる数字
| 評価構成数 | 66 |
|---|---|
| ハルネス数 | 4 |
| モデル数 | 5 |
どこで使えるか
エージェントのモデルとハルネスを自分で選ぶ人向け。組み合わせで順位が変わる GitHubとHugging Faceで公開済み 6,204本のスコア付きTrajectoryも公開
スポンサーリンク
解説
かみくだいて説明します
arXiv に Yixuan Li らが 2026-10-01 に発表した研究で、AI がタスクをこなすときの組み合わせが 66 通り評価されました。AI の頭脳となるモデルと、それを実行する枠組みの相性を調べたものです。
組み合わせ次第で順位が逆転するなんて、確かに意外です。モデルと枠組みの関係をもっと身近な例で教えていただけますか?
分かりました。AI エージェントを料理人に例えると、モデルは料理人の技術力そのもので、枠組み、つまりハーネスは包丁やまな板といった調理道具です。同じ料理人でも、道具の相性や使いやすさで出来上がる料理の質が変わるという話です。
道具選びが技術力以上に効くということですね。現場で AI を組み込む技術者から見ると、どのモデルを選べばいいかの指針になりますか。
一概には言えませんが、具体的な数字で見ると分かりやすくなります。Terminal-Bench 4 というテストで、Claude が OpenHands という枠組みでは GPT より 7.94 点リードする一方、PI という枠組みでは 30.16 点も負け越しています。同じモデルなのに、使う枠組みが変われば勝つ時も負ける時も出てくるということです。
7 点差から 30 点差への逆転は大きいですね。コストが高い枠組みほど点数が取れるわけではないんですか。
Terminal-Bench 4では、GPTをPIで動かすとDSHより点数が高く、費用はタスクあたり4分の1未満で済みました。コストが高いほど点数が上がるとは限らないということです。
費用よりも相性が優先されるわけですね。なぜ相性がここまで変わるのか、モデル側の理由はあるんですか。
失敗した時の対応方法に違いがあります。モデル自身で修正を始めるケースがほとんどで、その時に枠組みがエラー情報をどう返すかが鍵になります。GPT はシンプルな構造の PI を好む一方、ツール呼び出しの形式が乱れがちな Kimi は、openJiuwen が最も高い点数を出しています。
エラーの返し方が使い勝手を左右するということですね。評価結果のデータ一式は公開されているんですか。
公開されています。枠組みを接続するアダプター、評価コード、そして 6,204 件のスコア付き実行記録がすべて手に入ります。モデル、枠組み、タスクを一緒に評価する仕組みを、研究している人がそのまま使えるようになっているということです。
最後に、これから先の開発で一番気をつけるべき点はどこになりますか。
特定のモデルや枠組みを単独で比較するのではなく、組み合わせ全体で検証する姿勢が不可欠です。まだ解けていない点としては、新しいタスクが追加された時に今回の相性がそのまま通用するかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Finding the Right Fit: Model-Harness Interactions across Agent Tasks
- 公開日:2026-10-01
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。