マルチモーダルモデル Agnes-3.0-Flash Preview のハイブリッドAttentionと推論効率の話

モデル

マルチモーダルモデル Agnes-3.0-Flash Preview のハイブリッドAttentionと推論効率の話

スポンサーリンク

Agnes-3.0-Flash Previewが公開。72層中18層のみがグローバルAttention。

この記事のポイント

  • フラッグシップ推論を低コストで
  • 4層に1層だけグローバルAttn
  • 33Bパラメータ262144トークン

数字で見る

この記事に出てくる数字

パラメータ数 33B
コンテキスト長 262,144
KVキャッシュ層 18

どこで使えるか

フラッグシップ級の推論品質を低コストで得たい人向け。72層中18層のみがグローバルAttention。 Hugging Faceで公開済み 18/72層のみKVキャッシュ、ライセンスはapache-2.0

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Agnes-AIがHugging Faceで公開したAgnes-3.0-Flash Previewは、33Bパラメータで262,144トークンの長い文章を一度に扱えるマルチモーダルモデルです。通常のモデルと違い、72層のうち18層だけしか文脈の記憶領域を使わない設計になっています。
72層のうち18層だけというのは、計算量を大幅に減らせる仕組みですね。作る側から見ると、このモデルは手元の環境で動かすことを前提にしているんですか。
そうです。3つの層に1つの割合で標準的な注意機構を使い、残りは再帰型の仕組みで処理します。再帰型の層は文脈の長さに関係なく層ごとの状態を保持するだけなので、メモリへの負荷が抑えられます。例えば、長い文章を読むときに、毎回最初から読み直すのではなく、前のページまでの要約だけをメモ帳に書き留めて次のページに進むようなイメージです。
前のページまでの要約だけを持ち歩く感じですね。では、このPreview版と、APIで提供されている正式版の違いは何ですか。
正確には、Preview版は33Bパラメータで262,144トークンの文脈に対応しますが、API版は別の重みと設定を使っており、文脈の長さは1Mトークンに拡張されています。Benchmarkの成績もそれぞれ別のモデルで出しているため、混同しないよう注意が必要です。
Benchmarkの成績が別々というのは、開発者の評価基準を選ぶ時に注意が必要ですね。研究する側から見ると、どこが従来のモデルと比べて新しいポイントになりますか。
研究の観点では、72層中18層だけメモリを消費するハイブリッド構造が注目されます。このモデルは、大規模モデルの効率化手法の検証材料になります。
効率化の検証材料になるんですね。では、このモデルを自分の仕事でAIを組み込んでいる人が実際に使う場合、何が準備として必要になりますか。
そこはまだ分かっていません。公開されているのはPreview版の重みと仕様だけなので、API版の性能や正式版のリリース時期、そして手元のハードウェアで動かすのに何が要るかは、現時点で明言されていないのが現状です。
準備の情報がまだ揃っていないんですね。では、比較表に出ている他モデルとの数字は、どう参考にすればいいんですか。
開発側は、フラッグシップクラスの推論性能を、フラッグシップクラスのハードウェアなしで実現することを目指していると説明しています。参考として示されている他モデルとの比較表は、異なるベンチマーク環境やモデルのスナップショットから集めた値であり、条件を統一した直接比較ではない点も押さえておく必要があります。
条件を統一していない比較表だと、数字だけで優劣を判断しにくいですね。最後に、正式版が世に出た時に最初に確認すべき点はどこになりますか。
最後にご確認いただきたいのは、正式な公開時にPreview版とAPI版の区別がどう判断されるかです。要旨にはベンチマーク結果の帰属先が明確になることが書かれています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル