Jev-Memが公開。システム1でメモリ操作を高速化し、システム2は複雑な推論に限定。
この記事のポイント
- LLMがクリティカルパスにあり重かった
- System-OneとTwoで制御を分けた
- LoCoMoで0.777。11.0%向上
数字で見る
この記事に出てくる数字
| 構築時間 | 158s |
|---|---|
| クエリレイテンシ | 0.93s |
どこで使えるか
メモリ操作の重さを下げたい人向け。推論コストを抑えつつ応答速度を上げられる GitHubで公開済み LoCoMoで最強ベースライン比11.0%向上
スポンサーリンク
解説
かみくだいて説明します
エージェントが長期タスクをこなすためのメモリ管理、最近すごく注目されていますよね?
確かにです。自律型AIが過去の情報を整理して活用する仕組みは、複雑なタスクをこなす上で不可欠になっています。
でも、既存のシステムって、なぜ毎回重い生成モデルにメモリ操作を任せているんですか?
従来の手法は自己回帰型のLLMで記憶の分類や検索を制御しているため、高コストな生成処理がメモリ操作の重要な経路に直接乗ってしまっています。
そこでarXivで公開されたJev-Memが、人間の認知科学にあるSystem-OneとSystem-Twoの分工をヒントに設計されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
コアとなるのは専用のSystem-One制御面と構造化された多関係メモリ面、そしてSystem-Two推論面です。System-Oneが記憶の型付けや検索経路の動的決定、候補スコアリングを高速で処理し、System-Twoは複雑な推論と回答合成が必要な時だけ呼び出されます。
反射的な判断と熟考を明確に分けることで、無駄な生成を大幅にカットする設計なんですね!
実際のベンチマークでは、どれくらいの改善が見られたんですか?
LoCoMoデータセットでの評価では、LLM-as-a-Judgeスコアが0.777を記録し、最強のベースライン比で11.0%の相対向上を達成しています。
速度面では最速の競合メモリシステムと比べてどうなっていますか?
メモリ構築時間を158秒に短縮し、6.6倍の高速化を実現するとともに、平均クエリレイテンシを0.93秒に抑え、36.7%の削減に成功しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。System-Twoが呼ばれる場面では依然としてLLMの生成コストが発生するため、重計算そのものを完全に排除しているわけではありません。制御面と推論面の境界設計には一定のチューニングコストも伴います。
自分で実際に動かす場合は、どうやって試せばいいんですか?
GitHubで公開されているリポジトリからコードを取得し、LoCoMoなどのエージェントメモリベンチマークで動作確認ができます。構築時間と検索レイテンシの計測をぜひ試してみてください。
LoCoMoベンチマークでは、LLM-as-a-Judgeスコアで0.777を達成し、構築時間は158秒、クエリレイテンシは0.93秒と大幅に高速化されています。
生成コストを賢く配分する新しい方向性が広がりますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。