レイヤーを絞ったKV通信で複数AIの思考共有を軽くする手法

論文

レイヤーを絞ったKV通信で複数AIの思考共有を軽くする手法

スポンサーリンク

通信量を28〜36倍減らし、推論を最大3倍速くした

この記事のポイント

  • 既存手法は送信者の忠実度を優先
  • タスク遂行に必要なキー層のKVのみを送信
  • 7ベンチで通信量28〜36倍削減、精度最大23.3ポイント向上

数字で見る

この記事に出てくる数字

精度向上 23.3ポイント

どこで使えるか

マルチエージェントの通信コストを下げたい人向け。学習不要でモデルを選ばない arXivで論文公開済み フレームワークのコード公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Dongsen Zhang さんらの研究チームが arXiv に公開した KITE という手法は、複数の AI が内部の状態をやり取りして仕事を分担する仕組みを、通信量を 28-36倍減らし、処理速度を 3倍速くするものです。
内部の状態をそのまま送るんですか。全部送るのではなく、必要な部分だけにするんですね!
今までの KV を使う仕組みでは、AI が考える過程の全部のデータを相手に送っていましたが、KITE では必要な部分だけを選びます。まるで図書館で本を借りる時に、必要なページだけをコピーして送るようなイメージです。
なるほど、必要なページだけを送るんですね。では、AI がどのページを選んでいるんですか。
相手側の AI が実際にタスクをこなすのに効く部分、つまりキーとなる層を自動で見つけて、そこだけを送信します。この作業には学習を使わず、既存のモデルにそのまま組み込めます。
現場の開発者が使う場合、何が要りますか。学習なしで組み込めるなら、導入の手間はかなり楽になりそうです。
組み込みの手間については、そこはまだ分かっていません。回線コストや待ち時間が大幅に下がり、精度は最大で 23.3 ポイント向上しています。複数 AI を繋ぐパイプラインを組む技術者にとって、実用に耐える数値です。
精度が上がるのは嬉しいですが、選んだ層が外れた場合はどうなるんですか。
選定基準は相手側の処理軌道がどれだけ崩れるかで測っており、外れた場合は精度が下がる可能性があります。どのタスクでどの層が有効かは、まだ検証が完了していない段階です。
では、次はどの規模で試したんですか。複数のモデルとベンチマークで検証しているんですね!
2 つのモデル系統、3 つの規模、7 つのベンチマークで試しています。ただし、今回試していない別のモデル系統への適用結果は、そこはまだ分かっていません。
別の系統でも同じように速くなる見込みは、まだ立たないということですね!
2つのモデルファミリーと3つの規模、7つの基準で試したところ、通信量を28から36倍減らし、推論速度を最大3倍速くする見込みです。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文