DoSAが Indexer を最大 2.74 倍高速化。条件付きでトークン選択
この記事のポイント
- スコアリングに全キーが必要な場合がある
- Top-Kの棄却に十分な証拠で証明する
- 英語・中国語・コードで最大2.74倍
どこで使えるか
GitHubで公開済み GLM-5.2/DeepSeek-V3.2で評価済み
スポンサーリンク
解説
かみくだいて説明します
人工知能が長い文章を読むときの仕組みを速くする DoSA という手法が、2026-10-14 に arXiv に公開されました。
長い文章を速く処理する手法なんですね。今までの方法と比べて、どこが新しくなったんですか。
従来の手法では必要な情報を探すために候補を一つ残らず全部調べることになっていましたが、DoSA では候補が本当に必要かどうかを事前に判定する仕組みを加えました。全部調べるのではなく、必要だと確信できる候補だけを詳しく調べることで、計算量を大幅に減らしています。
全部調べずに、必要なものだけ詳しく調べるわけですね。開発者が自分のシステムに組み込むとき、特別な環境が必要になりますか。
グラフィックプロセッサー上で動く実装を公開しています。既存の推論フレームワークと組み合わせて使えるように設計されており、追加の専用ハードウェアは必要ありません。コードは GitHub で公開されています。
グラフィックプロセッサーだけで動くんですね。判定を飛ばす分、選び出す情報は正確なまま保証されているんですか。
除外した候補が後から必要になることを防ぎ、最終的に選ぶトークンは従来の手法と同じものになることを証明しています。数学的に導き出した限界値を使って判定を行うため、正確性は保たれています。
限界値で判定するんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
郵便物の仕分けに例えると分かりやすいです。宛名を一つ一つ読み上げる代わりに、住所の頭文字だけで「この区には入らない」と即座に除外します。残ったものだけを丁寧に読んで、最終的に必要なものだけを選び出す形です。
頭文字だけで即座に除外するわけですね。では、実際に動かすとどのくらい速くなるんですか。
英語、中国語、コード生成のそれぞれのタスクで、既存の SGLang と比べて最大 2.74 倍速くなりました。LiteTopK と比べても最大 1.69 倍の高速化です。モデルの最初の回答が出るまでの時間も、GLM-5.2 で最大 1.94 倍、DeepSeek-V3.2 で最大 1.50 倍短縮しました。
2.74 倍も速くなるんですね。最後に、実用化に向けてまだ解決していない課題はありますか。
英語、中国語、コードの3種類で、SGLang比最大2.74倍、LiteTopK比1.69倍の加速を確認しています。
出典
この記事のもとになった情報
- arXiv:DoSA: Dots Sparse Attention
- コード:https://github.com/llm-sys/flash-indexer
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。