PISAがO(N log N)の複雑さでブロック選択を実現し、検索タスクで性能向上を確認した
この記事のポイント
- ブロック選択が全クエリで重かった
- ピラミッド選択でO(log N)段階のキー階層を作る
- 常識推論で同等、検索で上回る
数字で見る
この記事に出てくる数字
| 計算量 | O(Nlog N) |
|---|---|
| レベル数 | O(log N) |
どこで使えるか
検索タスクで性能を上げたい人向け。O(N log N)でブロック選択が可能 arXivで公開済み Tritonカーネルを使用
動画を見る
スポンサーリンク
解説
かみくだいて説明します
長文コンテキストを扱う言語モデルの計算コストがシーケンス長の二乗で増えるのは、開発現場では深刻な悩みですよね?
確かにその通りです。自己注意機構の計算量が膨大になるため、モデルの性能向上と推論速度の両立が難しいのが現状です。
ブロック単位で注目範囲を絞るスパース注意機構も出ていますが、結局すべてのペアを評価する必要があるんですか?
はい、従来の手法はクエリとブロックの全ペアをスコアリングするため、計算量は依然として二乗のまま残っています。
そこでarXivに公開されたPISAという手法が注目されています。ピラミッド状のTop-K選択戦略を採用し、関連するキーを効率的に絞り込む仕組みです。
具体的にどのような仕組みで候補を絞っていくんですか?
粗いレベルから細かいレベルまでキーの階層を構築し、各段階でLogSumExpスコアリングを使って次の段階の候補を限定していきます。これによりO(log N)段階のキーが生成され、全体計算量はO(Nlog N)に収まります。
段階的にふるいにかけるとは、確かに計算量を大幅に削減できそうですね!
推論と学習用のTritonカーネルも開発しており、クエリキーのスコア行列を明示的に保持せずに処理を融合しています。
ナイーブな二乗計算のアテンションと比べ、実際のベンチマークではどの程度の性能差が確認できたんですか?
計算量自体がO(Nlog N)に抑えられるため、長文処理時のメモリ使用量とレイテンシが大幅に改善されます。常識推論などのタスクでは従来手法と同等の精度を維持しつつ、検索関連タスクでは明確に上回る結果を出しています。
精度を落とさずに計算コストを下げられるのは大きいですね。
O(N log N) の計算量で効率的な代替手段を提供しています。
でも、特定のデータ分布に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。論文ではO(N log N)の計算量で、commonsense reasoningやretrievalタスクで同等以上の性能を示しています。
自分で動かして試す場合はどうすればいいんですか?
ハードウェア対応のTritonカーネルを開発し、階層ルーティングとLogSumExpスコアリングを融合させています。
さらに言語モデルタスクでの評価を行い、ベンチマークでは同等の性能を達成しつつ、検索タスクではより良い結果を示しています。
検索タスクではより良い結果が得られています。
出典
この記事のもとになった情報
- arXiv:Block Sparse Attention with Log-Linear Complexity
- 公開日:2026-09-28
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。