並列実行の隠れコストを減らすSquidAgent、LLMエージェントの並列化効率を上げる話

論文

並列実行の隠れコストを減らすSquidAgent、LLMエージェントの並列化効率を上げる話

スポンサーリンク

SquidAgentは、並列実行の隠れコストを考慮し、処理速度が向上した。

この記事のポイント

  • 並列実行の隠れたコストが不明確だった
  • トークン数で判断し並列を制御する手法
  • スループット2.2倍。ただし壁時計2.6倍

どこで使えるか

並列実行で遅延が伸びるのを防ぎたい人向け。トークン数で判断し、不要な並列を避ける arXivで公開済み Claude Codeとの比較評価

スポンサーリンク

解説

かみくだいて説明します

Yexiong Linらの研究チームが arXiv に公開した SquidAgent は、複数の AI エージェントを並列に動かす際に、これまで隠れていた 2 つのコストが足を引っ張っていたことを明らかにし、それを回避する仕組みを提案しました。
並列に動かすのに、なぜ逆に遅くなってしまうんですか?
1 つは同じ情報を何度も調べ直す探索コスト、もう 1 つは並行して出した答え同士をすり合わせる整合性コストです。それぞれが独立に動くと、リーダーが既に持っている文脈をもう一度読み直したり、バラバラに出た結果を後から合わせたりする手間が重なります。
なるほど。では、どの部分を並列にして、どの部分を順番にやるかを決める基準は、実際の時間で行うんですか。
実際の時間ではなく、AI が出力する文字数、つまりトークン数で測ります。AI に所要時間を当ててもらっても外れやすいため、トークン数ならかなり正確に見積もれることが実験で分かったからです。
トークン数って、具体的に何を指すんですか。そこがまだ掴めません。
文章を 1 文字ずつ数えるのではなく、AI が言葉を区切る単位で数えることです。辞書で言う見出し語のようなものです。100 文字でも 50 個の単位になる場合があり、その個数で作業量を測ります。
見出し語で作業量を測るんですか。では、この仕組みはすべてのタスクで使えるんですか。
並列化の条件を満たす層だけを対象にします。並列化による重みが順番にやる場合のコストを上回るときは、あえて並列化しない判断も scheduler が自動で行います。
scheduler も分かりにくいんですが、簡単に言うと何ですか。
作業の順番を管理する係です。工場でのベルトコンベアのようなもので、どの工程を並行して進め、どの工程で待つべきかを決めます。
ベルトコンベアで管理するんですか。では、作る側から見ると、組み込むのは難しい話ですか。
組み込み自体は既存のシステムに組み込む形です。まず 1 回の計画段階ですべてのトークン予算を見積もり、作業者をリーダーの会話履歴からそのまま分岐させて、後で答えを合わせる代わりに事前に共有ルールを生成します。
共有ルールを先に作るんですか。それは具体的にどれくらい速くなるんですか。
Claude Code を使った場合と比べて、平均して処理速度が 2.2 倍、実際の待ち時間では 2.6 倍速くなりました。最も強力な他の並列型システムとも比べて、処理速度で 2.0 倍の向上を確認しています。
2.6 倍速くなるのは確かに大きいですね。最後に、この scheduler は一般に公開されているんですか。
公開の有無については論文には明記されていませんが、SquidAgentはトークン予算の推定と並列化の判断基準を提案したものです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文