Cartridges++、文書対応AIの汎用能力を損なわない手法、LLMの推論品質を維持する話

論文

Cartridges++、文書対応AIの汎用能力を損なわない手法、LLMの推論品質を維持する話

スポンサーリンク

Cartridges++が、文書対応の圧縮でも汎用能力を損なわないようにした。

この記事のポイント

  • Cartridgesのオフコンテキスト能力が不明
  • Cartridges++でオフコンテキスト能力を保持
  • オンコンテキストはCartridges、オフは変種

どこで使えるか

長文を何度も呼び出す人向け。オフコンテキスト能力の低下を防ぎたい。 arXivで公開済み 推論時のRouter設定が必要

スポンサーリンク

解説

かみくだいて説明します

Sonia Lagunaらの研究チームが、大規模言語モデルが長い文章を扱うときの情報保存領域であるKVキャッシュの容量を抑える手法、Cartridgesという技術について、実際の使い勝手を測る新しい評価と、それを改良したCartridges++という手法を提案しました。
長い文章を扱うときのコストが問題なんですね。では、この手法は現場で使われている仕組みを置き換える話ですか、まだ先の話ですか。
既存のCartridgesは、文章に関連する質問と回答のペアを使って学習し、必要な情報だけを残す形で容量を減らします。提案されたCartridges++は、その学習の手順や推論のときの分け方を少し変えるだけで、文章の中にある質問への答えは従来通りよく出せる上に、文章の外にある一般的な知識や指示に従う能力が落ちるのを防げます。
文章の中と外の質問で、答え方が変わってくるんですね。研究している人から見ると、どこが新しいんですか。
これまでの評価は、文章の中にある質問に正しく答えられるかだけを見ていました。今回の研究では、文章の外にある質問に対して、元のモデルが持っている一般知識を保てるか、文章の情報に引きずられて間違った回答を出さないか、指示を正確に守れるかという三点で測った結果、従来の手法は文章内の質問には強い反面、文章外の質問で能力が落ちる傾向が見えました。
文章内の質問に強い代わりに、外側の能力が落ちる可能性があるんですね。では、その能力の落ち幅はどれくらい変わるんですか。
Routerという仕組みを使う場合、推論のときに質問が文章の中にあるか外にあるかを判断して、必要なときだけ長い文章の記憶を使う分け方を取り入れます。Data Mixingという仕組みの場合は、学習に使う質問と回答のデータの中に、対象の文章の外にある質問も少し混ぜておく分け方を取り入れます。
文章の中か外かによって、使う記憶の分け方を変えるんですね。専門の言葉でRouterとData Mixingと言いましたが、もう少しやさしく言うとどうなりますか。
Routerは、机の上にある参考書と、書棚にある辞書を場面に応じて使い分けるような仕組みです。Data Mixingは、勉強のときに参考書の問題だけでなく、辞書で調べる問題も少し混ぜて練習しておくことで、参考書以外の場面でも答えられるようにする仕組みです。
文章の中にある質問の答え方だけを評価すると、外側の能力が落ちている見落としていたんですね。では、この手法を実際に組み込むとき、動かすのに何が要りますか。
既存のCartridgesの学習手順や推論の判断部分に追加する形で提案されているため、導入には学習時のデータ構成や推論時の判断ロジックの変更が必要になります。詳しい条件はそこはまだ分かっていません。
学習時のデータ構成や判断ロジックの変更が必要なんですね。最後に、この手法が実用化されるまでの見通しはどのようになっていますか。
論文では、文章の utility だけを評価すると広範な能力の低下が見え隠れする可能性があるとし、推論時や学習時のわずかな変更でその問題を修復できると結論づけています。今後の展開や具体的な製品への組み込み時期については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文