モデルと実行環境の間に検証を入れる Mid-Harness、ターミナル操作の成功率を上げる話

論文

モデルと実行環境の間に検証を入れる Mid-Harness、ターミナル操作の成功率を上げる話

スポンサーリンク

Mid-Harnessは、GPT-5.6 Sol で検証すると 8 個のアクションから Pass@1 が 50% から 68% に向上

この記事のポイント

  • モデルの生成能力と実行の安定性は別問題
  • モデルとハルネスの境界で検証を追加
  • 強力な検証モデルなら成功率が上がる

数字で見る

この記事に出てくる数字

サンプル数 8
モデル規模 9B

どこで使えるか

検証モデルの能力差で結果が変わる手法。強力な検証モデルで候補を篩いたい人向け。 arxivで公開済み TMAX-9BとGPT-5.6 Solの使用例あり

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Minki Kangらの研究チームが2026年10月1日にarXivへ公開したMid-Harnessという手法は、AIがコマンドを打ち出すモデルと、実際に環境を操作する装置の間に検証の仕組みを挟み込むことで、失敗しにくい行動の選び方を改善するものです。
なるほど、モデルが出した答えをそのまま実行するのではなく、間にチェック役を置くわけですね。チェック役はどうやって判断するんですか?
具体的には同じコマンドを何回も生成させて、その中から一番環境を壊さないものを選び出す仕組みです。まるで試験管で複数の試薬を並べてから、一番反応が良いものだけを実験に使うようなイメージです。
複数の候補から一番安全なものを選ぶ、つまり検証モデルの性能が鍵になるということですね。
TerminalBench-Liteという評価で、基礎となるモデルの成功率が50.00%の時に、GPT-5.6 Solという検証モデルを挟んで8つの候補から選んだところ、成功率は68.03%まで上がりました。
成功率がかなり跳ね上がったことになりますね。開発者が組み込む立場から見ると、候補を8つも作る割にコストは本当に抑えられるんですか。
検証モデルの判断を小さなモデルに転写する手法を組み合わせると、同じモデルのまま成功率がさらに伸びます。ただ複数の行動パターンを長く生成するだけではコストが嵩みますが、行動の数を増やす方向に集中させた方が、同じトークン数でより高い成功率を達成できます。
行動の検証に手間をかける分、実行前に弾ける割合が増え、より良い行動を活かせます。
開発者が追加で用意するのは検証の仕組みだけで、既存のモデルや装置はそのまま使えます。別のモデルや別の評価基準、別の装置でも同じように成功率が改善することを確認しています。
既存の環境をそのまま活かせるのは確かに大きいですね。ただ検証モデルが弱い場合は効果が薄いと言っていました。
検証が弱いと、行動を何回も試す回数を増やしても得るものは少ないです。GPT-5.6 Sol を検証役にすると、8 回の試行で Pass@1 が 50.00% から 68.03% に伸びます。
最後に、この手法が実用の段階まで来るには、何が足りないんですか。
要旨には検証モデルの小型化や複雑な環境での安定性に関する記述はなく、また評価基準の拡張を待つとも書かれていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文