OreoLookの 3 層キャッシュが、メモリ増 1.38 MB で読み込み 0.1 ms を達成した
この記事のポイント
- セッションの文脈が失われ同じ検索が繰り返された
- Redisで3層のキャッシュを構築し89.3%のヒット率を達成
- 8vCPU32GBのCPUサーバーで1.38MBのメモリ増で運用
数字で見る
この記事に出てくる数字
| read latency | 0.1 ms |
|---|
どこで使えるか
セッションの引き継ぎや類似クエリを効率化したい人向け。Redisとディスクで冗長な推論を回避 GitHubで公開済み 8-vCPU Intel Cascade Lakeで動作確認済み
スポンサーリンク
解説
かみくだいて説明します
論文をarXivが九月十日に公開しました。ChatGPTやGoogleのAI検索、Perplexityのようにウェブの最新結果を元に大規模言語モデルが回答を合成するシステムで、OreoLookというオープンソースの回答エンジンを開発したチームが、3層のキャッシュ構造を発表しました。
3層のキャッシュですね。問い合わせを減らす仕組みですか。
はい。1つ目が会話の履歴を保存する層で、直近のメッセージをRedisというメモリ上に保持し、容量が足りなくなるとハフマン符号という圧縮形式でディスクに自動で退避します。2つ目が意味の似た質問を拾う層で、embeddingベクトル同士のコサイン類似度で判定し、同じ意味の問いかけなら大規模言語モデルを呼び直さずに済ませます。3つ目がウェブページのアドレスを処理する層で、セッションをまたいでも同じアドレスのembedding計算を繰り返さないようにします。
embeddingベクトルって何ですか。数字の羅列のようで掴めません。
文章を数値の並びに置き換えたものです。辞書で言えば、似た意味の単語が同じページにまとまっている状態に近いです。コサイン類似度は、その並び方の角度の差を測る計算で、角度が近いほど同じ意味だと判断します。
同じ意味の問いかけなら答えを流用するわけですね。
正確には大規模言語モデルへの問い合わせ自体をスキップします。実機は8 vCPUのIntel Cascade Lakeプロセッサー、メモリ32 GBのサーバー一台で動かし、2 GHzの動作周波数でHypercornというフレームワークで30の作業プロセスを3つのコンテナに分散させています。
8 vCPUのサーバー一台で済むなら、構築の手間は軽いですね。
はい。評価結果として、Redisのキー空間全体で89.3%のヒット率を記録し、読み取りは0.1 ms、メモリオーバーヘッドは1.38 MBに収まりました。背景でLRUという淘汰アルゴリズムが動いて、使われていない会話をディスクに退避し、必要に応じて呼び戻します。数時間や数日後に設定された保持期間に従って、会話を再開できる仕組みです。
組み込む技術者から見ると、手元で動かせますか。
はい。コードはGitHubで公開しています。最後に、この構造が他のキャッシュ手法と比べてどれほど優れているかは、まだ第三者の評価が出ていないためそこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。