galahad-kvが 5000万トークンの記憶を保存し、推論速度が最大 4.3 倍向上
この記事のポイント
- LLMはプロンプト送信ごとにKV状態を再計算していた
- 約16,000トークンごとのKV状態をNVMeに保存・読み込み
- 5000万トークンで再計算不要。ただし1ブロックずつ
数字で見る
この記事に出てくる数字
| メモリブロック | 16,000トークン |
|---|---|
| 読み込み速度 | 2.8x〜4.3x |
| 12B正答率 | 82/100 |
どこで使えるか
5000万トークンの長期記憶を自前で運用したい人向け。GPUメモリを抑えて推論コストを下げられる galahad-kvで公開済み H100単一GPU、NVMe必要
スポンサーリンク
解説
かみくだいて説明します
Sietse Schelpe さんが 2026-10-08 に arXiv に発表した論文で、人工知能が 50,000,000 トークンの長い文章を再計算なしで読み返す技術の実験結果が報告されました。Gemma 4 12B と Gemma 4 31B のモデルを NVIDIA H100 1 枚で動かしたところ、GPU のメモリ使用量は変わらず、エネルギー消費は再計算を 8.8x から 12.3x 抑えています。
50,000,000 トークンというと、小説数冊分に相当する長さですね。保存したデータを呼び出すとき、モデルが再び中身を読み解く必要がないというのは、具体的にどうやっているんですか?
文章を 16,000 トークンごとの区切りで分け、それぞれの計算途中の答えを暗号化してローカルの NVMe ディスクに保存します。次に同じ区切りが必要になったとき、ディスクから正確に読み込んでそのまま使います。モデルが最初から計算し直すのではなく、前回の結果をそのまま再利用する仕組みです。
なるほど、前回の計算結果をそのまま取り出すわけですね。そのとき、GPU のメモリは増えないんですか。
増えません。50,000,000 トークンの流れ全体を通しても、GPU メモリの使用量は一定のまま保たれています。保存する書き込みは一度きりのコストで、読み出すときはディスクからの転送だけで済みます。
では、長い文章の中に出てきた情報を、何百万トークンも離れた先から聞かれたら、モデルは正しく答えられるんですか。
Gemma 4 12B は 100 問中 82 問、Gemma 4 31B は 100 問中 98 問正解しました。0 から 50,000,000 トークンの深さまで、すべての区切りで再計算なしの読み出しに成功しています。ただし、これは注意が必要な点で、アテンションの範囲が広がったわけではなく、一度に読み込むのは 1 ブロックだけです。どれだけ正確に答えられるかは、使っているモデル次第になります。
一度に 1 ブロックだけというのは、情報の抜け漏れが起きにくいのですね。研究している人から見ると、どこが新しいんですか。
KV状態を丸ごと保存して、そのまま読み戻すことで再計算を減らしています。ベンチマークを不正に高得点させないための試験手順も公開しています。
テラバイト単位のディスクが必要というのは、設置の手間がかなりかかりそうですね。実用に耐えうる速度は出ているんですか?
1 ブロックの読み出しは、再計算よりも 2.8x から 4.3x 速く、GPU のエネルギー消費は 8.8x から 12.3x 少なくなっています。実装の手間は公式のパッケージ galahad-kv と vLLM を使えば揃います。ただし、50,000,000 トークンという実験規模が実際の業務にそのまま当てはまるかは、そこはまだ分かっていません。
では、この galahad-kv を自分の環境に組み込むのは難しいんですか。
使うソフトウェアは公開されていて、無料のライセンスで、NVIDIA H100 1 枚で再現できます。書き込みは最初の一度だけで、その後は読み出しだけで動きます。まずは公開された手順で実際に動かして、自分の環境での結果を確認していく段階です。
最後に、次の課題は何になるんですか。
ブロックごとの保存と読み出しは100%成功し、再計算より2.8倍から4.3倍速く、GPUエネルギーを8.8倍から12.3倍削減できました。5000万トークンのストリーム全体を通じてGPUメモリは一定でした。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。