固定メモリで32ペアを正確に呼び出すDeltaNetの学習手法、推論時のメモリ増加を防ぐ話

論文

固定メモリで32ペアを正確に呼び出すDeltaNetの学習手法、推論時のメモリ増加を防ぐ話

スポンサーリンク

DeltaNetの固定メモリ手法が、32ペアの正確な呼び出しに成功した

この記事のポイント

  • 固定サイズのリカレントメモリでは、タスクや訓練次第で想起が成功するかが不明だった
  • 32個のキー値ペアを覚えるよう訓練し、1798トークンのフィラー文脈下での想起を測った
  • 32ペアの選択では平均精度がほぼ完璧。ただし48ペアでは限界が不明で、Transformerは失敗した

数字で見る

この記事に出てくる数字

正確度 99.95%
メモリサイズ 32 KiB
コンテキスト長 1,798

どこで使えるか

固定メモリで正確な想起をさせたい人向け。32ペア程度の暗記タスクに有効 論文のモデル。コード公開は記載なし 学習済みモデルの入手方法は不明

スポンサーリンク

解説

かみくだいて説明します

Samuel Larson さんが arXiv に公開した DeltaNet という小さなモデルの仕組みです。推論中に記憶の容量が増えないように固定された 32 KiB の行列状態だけを使って、1 つの文章の中で 32 組の新しい対応関係を記憶します。
容量が増えないというのは、メモリを圧迫しなくて済むということですね。研究している方から見ると、従来の大きなモデルと比べてどこが新しいんですか?
精度がおよそ 99.95% 出ている点です。32 組のキーバリューペアを記憶させるため、モデルは固定された場所に値を格納します。3 つの学習の出し分けで試したところ、記憶する値の中から正解を選べるようになりました。余計な文章を 1,798 トークン分挿しても、記憶の取り出しはほぼ完璧のまま保たれています。
1,798 トークンも飛び越えて覚えていられるのは確かにすごいですが、使う側として気になるのが「キーバリューペア」という言葉です。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
正確には、カード番号と名前のような対応表をイメージすると分かりやすいです。モデルは 32 枚のカードを机の上に並べて置き、新しいペアが来たらその場所に入れ替えます。最初の 1 枚のカードだけをゼロに戻すと、この取り出し機能が完全に消えることを確認しています。
机の上に並べる方式なら、場所が決まっているので探しやすそうですね。作る人として、このモデルを動かすのに必要な環境が公開されているか気になります。
そこはまだ分かっていません。コードや学習済みの重みの公開については、発表文に明記されていないため、現時点で答えようがない状態です。
公開がまだの基盤モデルについて、追加で学習時間を延らした理由を教えてください。確率レベルから抜け出せなかったのはなぜでしょうか。
従来のAttentionは文章全体を参照しますが、このモデルは32個の新しいキーと値のペアを記憶します。追加で学習時間を延ばした基盤モデルは確率レベルから抜け出せず、この理由でメモリ効率の比較はまだ行えていません。
比較ができないと、実際に仕事で AI を使っている側にとって利点が分かりにくいですね。48 組の記憶に挑戦したテストでは、学習時間の 4 分の 1 を使っても確率レベルだったそうですが、どこがまだ解けていないんですか。
記憶できる上限の場所がまだ見えていない点です。学習を続けるほど精度が上がっていくのか、それとも頭打ちになるのか。現在のデータだけでは判断がつきません。
最後に、実用化に向けて一番気になる点を教えてください。
48ペアに増やす探索的なテストでは、主要な学習予算の4分の1を終えてもほぼ偶然に近い精度のままで、容量の限界は特定できていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文