Bash 単独がエンタープライズタスクで正答率を上げ、トークン使用量を最大72%削減。
この記事のポイント
- 一般シェルが専門ツールより強いのか検証した
- bash単体と、型付きツールやPTCを比較した
- bash単体が最も良く、PTCは品質・効率で劣る
数字で見る
この記事に出てくる数字
| トークン削減 | 19-72% |
|---|---|
| APEX向上 | 4.8-7.4pp |
どこで使えるか
任意実行が隔離できる環境向けのシェル中心設計。固定カタログが要る場合はPTC。 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Hazel Mak さんらの研究チームが arXiv に公開した論文で、企業向けのデジタルワーカーに使うインターフェースを 5 種類比べた結果、bash だけを単独で使うのが最もスコアが高く、トークン数も 19 から 72 パーセント減りました。
bash だけの方がいいんですか。比べたのはどんな場面でしたか。
企業内のアプリケーションをまたいだ作業や、同僚との連携、専門的な分析の 3 つを想定したベンチマークで、Opus-4.8 と GPT-5.5 の 2 つのモデルで測りました。bash 単独は TheAgentCompany で 21.8 から 24.5 ポイント、APEX-Agents で 4.8 から 7.4 ポイント上回りました。
なるほど。専用ツールを足さなくてもスコアが上がるなら、手順が簡単になりますね。トークンの削減幅は場面によってどれくらい変わるんですか。
削減幅はベンチマークによって違い、TheAgentCompany では 19 パーセントから 72 パーセント、APEX-Agents ではもう少し幅が狭くなりました。専用ツールを足したり、bash 内で勝手にツールを生成させたりしても、スコアに明確な差は出ませんでした。
余計な手順を省けるなら bash 単独が有利ですね。セキュリティを重視する現場ではどう使い分けるんですか。
セキュリティや決まりで自由にコマンドを打てない場合は、プログラムで呼び出す PTC という方式を使います。PTC は決まったツールカタログの中だけしか動かせないので、銀行の窓口で決まった用紙にしか記入できないのと同じです。品質とコストは bash 単独よりやや劣りますが、決まりを守るにはこちらになります。
PTC はまだ掴めません。別の言い方で説明してもらえますか。
決まった手順のリストの中から選ぶだけなので、外側のシステムにアクセスできません。銀行の ATM で、預金と預け入れしか操作できないのと同じです。
なるほど。決まりを守るなら PTC、自由に動かせるなら bash だけ、という使い分けですね。
その通りです。ただ、今回比べたのは企業向けのデジタルワーカー限定で、コーディングだけの場面や、他のモデルではどうなるかはまだ測っていません。
では、この結果は実際にツールを開発している技術者にどう役立ちますか。
環境が決まっているなら、迷わず bash 単独か PTC のどちらかを選べます。コストとスコアの両方を同時に上げようとして専用ツールを足す必要は、今回の結果ではなさそうです。
最後に、この研究はどのくらいの規模で進めたんですか。
2 つのベンチマークと 2 つのモデルで比べましたが、企業内の実際の業務データで長期間動かした検証は含まれていません。そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。