Orthros attentionが、長い文脈でも推論を速くしながら性能を維持した。
この記事のポイント
- 線形注意は文脈想起が低下する
- フェーズに応じて計算を切り替える
- 128K想起と21.9倍高速化
どこで使えるか
長い文脈で推論コストを削りたい人向け。学習不要で既存モデルから変換可能
スポンサーリンク
解説
かみくだいて説明します
Yuhong Chouらの研究チームが、2026-10-10にarXivへOrthros attentionという仕組みを発表しました。Transformerの計算を、文章を最初から読む段階と答えを一つずつ出す段階で切り替えることで効率化します。
切り替えることで、計算の負担が軽くなるというわけですね。読み込みの段階は具体的にどう変わるんですか?
文章を全部読み込むprefillingの段階では線形計算を使い、答えを生成するdecodingの段階では従来のAttentionに戻ります。まるで図書館で資料を棚から取り出す時と、机でじっくり読む時を分けると同じです。
なるほど。作る側からすると、既存のモデルをこの仕組みに置き換えるのは難しいんですか?
既存のTransformerからデータを効率的に変換する手法も提示しており、場合によっては元のモデルより性能が出る結果が出ています。
元のモデルを上回る性能が出るんですね。読み込みの速度はどれくらい変わるんですか?
読み込みの段階でおよそ21.9倍の高速化を記録しています。128Kという長い文章の中から特定の情報を正確に見つけるテストでも、ほぼ完璧な結果を残しています。
長い文章でも正確に探せるのは、Attentionの段階が残っているからですね。研究する人から見ると、どこが従来の仕組みと違うんですか?
従来の効率化手法は構造を固定で分けましたが、Orthrosは処理のフェーズに応じて動的に切り替える点が異なります。重い読み込みと軽い生成を分けることで、全体としての計算量を大幅に削っています。
動的に切り替わるんですね。実用化する上で、まだ解決していない点はありますか?
データ効率の良い変換を行うと、性能が元の Transformer を上回ることも確認されています。
導入に向けた課題も見えていますね。
128Kのニードルインアヘイスタックタスクでほぼ完璧な結果を示し、実世界の文脈内記憶タスクでもTransformerと同等の性能を保っています。
出典
この記事のもとになった情報
- arXiv:Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
- 公開日:2026-10-10
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。