エージェントとユーザー間の長期の記憶を、ユーザー別に測って採点する

論文

エージェントとユーザー間の長期の記憶を、ユーザー別に測って採点する

スポンサーリンク

エージェント記憶の長期評価に、ユーザーごとの関係性という抜けていた軸を加えた

この記事のポイント

  • 関係性記憶の評価が不十分だった
  • 6カテゴリのDyadMemを構築した
  • Full-Pipeline QAは低下する

数字で見る

この記事に出てくる数字

エピソード数 3,065
セッション数 50,961
QAインスタンス 61,210

どこで使えるか

長期記憶を組む人向け。ユーザーごとの関係性記憶を評価できる arXivで論文公開済み ベンチマークデータは論文付属、モデル評価結果付き

スポンサーリンク

解説

かみくだいて説明します

Yifei Tao さんたちのグループが、AI エージェントがユーザーとどう共同で記憶を管理するかを測る新しいベンチマーク、DyadMem を公開しました。61,210 件の質問と 50,961 回のセッションからなるデータセットで、既存の評価が見過ごしていた関係性に応じた記憶の仕組みを初めて細かく分類して検証しています。
関係性に応じた記憶、つまり AI とそのユーザーだけの共通の歴史を覚える仕組みなんですね。では、作る人から見ると、このベンチマークで測られる記憶は、いま現場で組み込んでいるものとどこが違うんですか。
既存のベンチマークはユーザーの好みや事実だけを覚えていればよかったのですが、DyadMem で測る URAM という概念は、特定の AI がそのユーザーと会話するときに、どの情報を取っておいて、どの情報を消すかというルールまで一緒に管理するものです。例えば、前の会話でこのアプリは朝だけ使って、夜は使わないと決めていたら、その後の会話でもそのリズムに合わせて提案を切り替えるように設計するイメージです。
関係性のルールまで管理するんですね。そこがまだ掴めません。線引きは誰が決めるんですか。
正確にはモデル自身が判断するのではなく、人間が 61,210 件の質問に対して、どの情報が正しく引き出せたか、どの情報が不要になって消去されるべきかを事前にマークしています。20 種類のモデルで試したところ、このマークに沿って記憶を管理する URAM の設計を適用すると、すべてのモデルで性能が向上しました。
人間が正解の線引きをあらかじめ書いて、それを基準にモデルを評価するんですね。では、研究する人から見ると、これまで何ができていなかったんですか。
従来は長い会話の最後に正解を当てはめる一問一答だけで評価していたため、途中で情報を間違って覚えているか、あるいは必要な情報を忘れていないかという過程が見えませんでした。DyadMem ではセッションごとの記録と更新を細かく追跡できるため、モデルがいつ情報を取込み、いつ情報を更新したかを数値で比較できます。
途中の過程まで数値で追跡できるんですね。実際に測った結果、どのくらい差が出るんですか。
16 種類のオープンソースと 4 種類の専用モデルで試したところ、あらかじめ正解の記憶だけを参照する Gold-Memory の設定では高い正答率を維持していましたが、実際の会話の流れを全部使った Full-Pipeline の設定では正答率が大きく下がりました。さらに、情報の取込みが不十分だったり、不要な情報を安全に消去できていないケースが、最先端のモデルでも確認されています。
実際の流れを全部使った評価だと、かなり点数が落ちるんですね。では、公開されているモデルの中で、特に差が出たのはどれですか。
材料には各モデルごとの順位や具体的な数値の開きは記載されておらず、そこはまだ分かっていません。全体として Full-Pipeline での低下が共通して確認された形です。
全体に低下が見られるんですね。最後に、AI を使う側から見ると、この仕組みが実用に近づくには何がまだ解けていないんですか。
最先端のモデルでも情報の取込み率が低く、消去の判断が安全でない点がまだ残っています。今後、より長い会話履歴の中で、関係性に応じた記憶を安定して維持する方法が模索されていく見通しです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文