コーディングエージェントの構成要素を比較するHarnessDesign、予算に応じた設計の話

論文

コーディングエージェントの構成要素を比較するHarnessDesign、予算に応じた設計の話

スポンサーリンク

Coding Harness Designが、予算に応じた設計の指針を176設定で示した。

この記事のポイント

  • 従来のハルネスは全体で評価
  • 3成分を変えて176設定を比較
  • 予算が狭いと文脈管理が効く

数字で見る

この記事に出てくる数字

評価設定数 176
コンテキスト管理戦略 5

どこで使えるか

予算を絞って推論コストを抑えたい人向け。文脈管理の設計指針が得られる 論文公開済み SWE-BenchとTerminal-Bench 2.1で評価

動画を見る

スポンサーリンク

解説

かみくだいて説明します

自律的にコードを書くAIの仕組みを部品ごとに比較した研究が発表されました。4つのモデルで176通りの設定をSWE-Bench VerifiedとTerminal-Bench 2.1で試し、計画の立て方、操作の範囲、会話の履歴の管理方法の3つが性能にどう影響するか調べました。
仕組みを3つに分けて比べたんですね。では、会話の履歴の管理方法で一番大事なのはどれですか。
履歴の管理は、AIが扱える情報量の枠が狭いほど効き目が出ます。主に枠を超えてエラーになるのを防ぐ役割です。枠が広いと差は小さくなります。
枠が狭いほど大事だというのは、現場の予算感に直結しますね。では、情報を削る順番で一番効率が良いのはどれですか。
最初に決まったルールで削ってから、LLMに要約をさせる順番が最もバランスが良い結果でした。削った情報を後から取り戻せるようにすると、機械は余計に重くなるだけで精度は上がりませんでした。
取り戻し機能は使われないんですね。計画の立て方は、モデルの強さに合わせて役割が変わるということですね。
能力が弱いモデルには正確さを支える足場になりますが、強いモデルになると正確さは変わらずコストを減らす方向に働きます。
強いモデルほどコスト優先になるのは納得がいきます。bashだけの操作で動かす場合のメリットも、ここで聞かせていただけますか。
bashが苦手なモデルにはあらかじめ用意したツールを使った方が性能が上がります。bashに慣れたモデルはbashだけの操作で十分動かえ、特にコマンドライン中心の作業ではコストが大幅に下がりました。
bashに慣れたモデルは操作をbashだけに絞っても十分動きます。コマンドライン中心の作業ではコストが大幅に下がりました。
履歴の管理は作業手帳の余白をどれだけ確保するかで、書く量は増えますが中身は同じです。計画の立て方は、何ページ書いたところでペンを置くかを決めます。操作の範囲は、一文字ずつ打つか、文単位で打つかのレベルの違いです。
最後に、モデルの能力と予算に合わせて部品を選べる枠組みになったということですね。
そうです。ただし、今回試したのは限定された環境での結果なので、他の作業環境ではまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文