固定状態数で線形時間化するAttentionの展開手法、推論コストを大幅に削減する話

論文

固定状態数で線形時間化するAttentionの展開手法、推論コストを大幅に削減する話

スポンサーリンク

Expanding Attentionが線形時間で推論。8192 長で 20.8 倍高速。

この記事のポイント

  • 従来のアテンションは長文で遅かった
  • 指数核をテイラー展開で線形化
  • 精度は上がるが次元が爆発し正規化必須

数字で見る

この記事に出てくる数字

float64精度誤差 2.2×10⁻¹⁶
chunk結合誤差 5.7×10⁻¹⁴

どこで使えるか

長い文脈を高速に処理したい人向け。精度と速度のバランスが取れる設定がある arXiv:2610.20637で公開済み

スポンサーリンク

解説

かみくだいて説明します

人工知能の文章理解技術について、黄資聰さんが論文を発表しました。長い文章を入力しても処理速度が遅くならないように、計算の仕組みを切り替える方法です。従来の softmax という重み付け計算の代わりに、数学のテイラー展開を使って固定数の記憶状態に情報をまとめ直します。
固定数の記憶状態にまとめるんですか? 作る側の技術者から見ると、今使われている仕組みを置き換える話ですか、まだ先の話ですか。
要旨には、各トークンごとに1つのランク1の外積で更新される再帰的状態が、コンテキスト長Nに依存しないことが書かれています。つまり、処理コストが一定であることを示しています。前処理としてクエリとキーの正規化が必須で、これを怠ると収束半径を超えて追加項の効果が得られなくなります。
なるほど、前処理が条件になるんですね。では、研究している人から見ると、従来の方法と比べてどこが新しいんですか。
従来の方法では二乗に近い増加ですが、新しい方法はほぼ比例で済みます。長さおよそ728のところで交差点があり、長さ8192ではおよそ20.8倍、長さ65536ではおよそ76.0倍高速になります。
長さ 65536 で 76 倍も違うんですか。では、項の数 n を増やすと精度が上がるとありましたが、どこまで増やせるんですか。
精度は n に合わせて指数関数的に上がりますが、必要な要素数は組み合わせの数で増えます。実際の最適値は n が 3 で、誤差が 6.5 × 10^-4、頭あたりの要素数が 9,945 個の時点で収束します。
要素数が 9,945 個で十分になるんですね。では、その記憶状態に情報がどう入ってくるのか、もう少し分かりやすく説明してもらえますか。
長い文章を一度に全部見る代わりに、一文字ずつ読み進めるたびに、情報を固定枚数の付箋に書き換えていくイメージです。一枚の付箋に新しい情報を上書きするのではなく、一枚ずつ追加で記録していくので、文章が何倍になっても扱う枚数は変わりません。
付箋の枚数だけ増やせばいいんですか。では、その付箋を並べて使う場合、チャンクを分けたり分けなかったりしても情報は欠落しないんですか。
欠落しません。再帰計算は 2.2 × 10^-16 の誤差で正確で、チャンクを分けても 5.7 × 10^-14 程度に収まり、並列スキャンで処理が可能です。
最後に、この手法が実用化されるまでの見通しを教えてください。
正規化が必須という条件を守れば、実装は可能で、二次だと誤差は6.5かける10のマイナス4乗、要素数は9,945です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文