LatentPortが、Qwen3.5 4B から 9B へのメモリ受け渡しに成功した。
この記事のポイント
- 異モデル間の永続的ハイブリッド状態の引き継ぎが未確認だった
- Qwen3.5の4Bから9Bへ、GDNパッケージを追加して転送した
- 有用な転送が実証された。ただし自由生成の同等性は未証明
数字で見る
この記事に出てくる数字
| 補正パラメータ | 434,176 |
|---|---|
| NCR | 0.918 |
どこで使えるか
arXivで公開済み 4B→9Bの特定ペアのみ検証済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
LLMの記憶って、コンテキストウィンドウを超えると完全にリセットされますよね?
確かにその通りです。前回の対話履歴を毎回読み直すのは非効率で、モデル間のメモリ共有は長年の課題でした。
既存のKVキャッシュだと、モデルが変わった瞬間に意味をなさないんですか?
その通りです。サイズや構造が異なるモデル間では、単なるキーバリューの転送では情報が大きく欠落します。
arXivで発表されたLatentPortは、Qwen3.5の4Bから9Bへ、ターゲットの接頭辞を再読み込みせずに永続的状態を移行します。
そのアプローチって、具体的にはどういう仕組みなんですか?
翻訳されたアテンションKVに加え、Gated DeltaNetの永続状態パッケージを組み合わせます。比喩すれば、地図のコピーだけでなく、現地の記憶帳とコンパスを一緒に持ち運ぶイメージです。同期は直接リカレントと畳み込み状態の再利用が最適で、メモリ配置は座標系の部分機能的互換性を利用します。
確かに!物理的な道具まで持っていくような発想ですね!
改善効果って、具体的にどのくらい変わるんですか?
GDNの恒常状態パッケージを加えると、教師あり負対数尤度が0.747 nats/token削減され、64文書すべてで改善しました。修正モジュールは434,176パラメータで、補正後の9Bモデルはネイティブ9Bより0.076 nats/tokenの差しか開かず、JSダイバージェンスは0.022、ネイティブコンテキスト回復率は0.918です。
従来の4Bモデルを延々と推論し続けるより圧倒的に効率的なんですか?
はい。履歴トークンをゼロで処理しながらも、4Bの継続推論を大きく上回る性能を出しています。
でも、特定のモデルペアに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。片方向の検証のみで、4Kの教師あり継続に限定され、自由生成の等価性や一般化された状態インターフェースは未証明です。
実際の試し方って、どうすればいいんですか?
Qwen3.5 4Bと9Bのペアで、教師あり4K継続テストによる検証です。
検証規模の限界はありますが、メモリ共有の新しいパラダイムを示す第一歩です。
確かに!要旨では16Kや自由生成は未証明です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。