会話の状態を変えて証拠の使われ方を測る MIRAGE、マルチモーダルエージェントの評価

論文

会話の状態を変えて証拠の使われ方を測る MIRAGE、マルチモーダルエージェントの評価

スポンサーリンク

MIRAGEが、会話の状態を変えた時の証拠利用の失敗パターンを明らかにした

この記事のポイント

  • 7モデルで会話状態を変えて評価した
  • 圧縮前後で非単調な失敗領域が確認された
  • 圧縮後はツール利用でも帰属が後退した

数字で見る

この記事に出てくる数字

モデル数 7

どこで使えるか

対話履歴の圧縮前後で証拠利用の失敗がどう変わるか調べたい人向け。モデルの選別や圧縮設定の判断に使える arXivで公開済み 評価手法の紹介論文

スポンサーリンク

解説

かみくだいて説明します

arXivに論文が公開されました。Yu Liuさんたちの研究チームが、マルチモーダルなAIエージェントが過去の情報をどう使っているかを調べる「MIRAGE」という評価手法を発表しました。エージェントが長い会話の中で、前に出した資料やファイルの情報を正確に引き継げているかを、会話の状態を変えてテストするものです。
会話の状態を変えてテストするんですか。
はい。これまで結果が合っていれば情報を正しく使ったと判断されてきましたが、実際には履歴が見えなくてもそれらしい答えを生成してしまうケースがあったからです。MIRAGEでは証拠となる資料と質問、採点基準を固定した上で、会話の途中状態だけを変えて、答えられるかどうか、出典を正確に特定できるかどうか、そこから答えを導けるかどうかを測ります。
なるほど。結果だけ見ていたのでは見抜けない部分があったんですね。
そうです。7つのモデルで試したところ、会話の圧縮前の深さと圧縮後の続き方で、失敗のパターンが単調に悪化するのではなく、状態によってはっきり分かれた領域になることが分かりました。オープンウェイトのモデルは、開発元の公開した情報を誰でも自由に使えるタイプのモデルで、文脈の連続性に強く依存しています。出典が途切れた時にツールで検索し直す動きが鈍い傾向がありました。
圧縮って具体的にどうなるんですか。
長い会話の履歴を要約して、次の応答に使える容量を確保する作業です。辞書のページを減らすために、前のページの内容を一枚のメモに書き換えるイメージです。
そこがまだ掴めません。メモに書き換えるって、元の会話の内容は消えるんですか。
正確には、元の一文一文は残らなくなります。前のやり取りの要点だけを抜き取って、次の応答が読めるように置き換えるということです。辞書の例で言うと、100ページの会話を、要点だけの1ページ分に圧縮するということです。
なるほど。要点だけ残って、細部は削られるんですね。
はい。検索の負荷をかけた場合は、圧縮前の深い状態では検索対応のモデルで出典の特定が改善しましたが、圧縮後は記憶自体が劣化しているため、逆に悪化する結果が続きました。オープンウェイトのモデルは文脈が途切れると検索の手を貸してくれなくなるため、圧縮後の状態では補完が効きません。
では、開発する側がこの評価手法を使う場合、どこに注目すればいいですか。
正解率の数字だけを見ずに、会話の途中状態を変えた時の出典特定率と回答可能かどうかの判定精度を並べて見ることです。圧縮前後で検索対応モデルと非対応モデルの差が明確に出るため、自前のエージェントに検索機能を組み込むかどうかの判断材料になります。
圧縮前後で検索機能の有無が効いてくるんですね。
最後に、今後の展開として何がまだ見えていないんですか。
圧縮後の劣化をどこまで検索で補完できるか、あるいは圧縮そのものの方法をどう変えるかについては、まだ具体的な数値や基準が示されていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文