バイアスで記憶容量が落ちる Dense Associative Memory の制御手法

論文

バイアスで記憶容量が落ちる Dense Associative Memory の制御手法

スポンサーリンク

Dense Associative Memoryがバイアスで容量を失う。制御ポテンシャルで回復する。

この記事のポイント

  • バイアス付きパターンで記憶容量を評価
  • 次数4以上でバイアス依存の遷移を確認
  • 条件付きガウス近似で容量を回復可能

数字で見る

この記事に出てくる数字

誤り確率基準 1/N

どこで使えるか

バイアス付きパターンで容量低下を回避したい人向け。制御ポテンシャルで容量回復が可能 arXivで公開済み シミュレーションコードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Yuto Sakuraiらの研究チームが、2026-09-16 にニューラルネットワークの記憶容量に関する論文を公開しました。偏りのある二値データを使った高密度連想記憶の絶対容量を調べたところ、交互作用的な次数が 4 以上の場合、容量が次数 3 のときとは全く異なる振る舞いを見せることを数式で示しています。
次数が 4 以上で容量の増え方が変わるんですか。次数というのは、記憶を読み書きするときに使われる計算の複雑さを表す数字ですよね。
そうです。次数が 3 のときは容量が $N^2/\ln N$ に比例して増えますが、次数が 4 以上の偶数では $N^{n/2}$、次数が 5 以上の奇数では $N^{(n+1)/2}$ という形に変わります。次数 3 のうちは偏りがあっても容量が保たれますが、次数が上がると偏りが容量を大きく削ぐことが分かります。
次数が上がると容量が削がれるのは、偏りに由来する干渉が原因なんですね。
はい。偏りがある場合、より多く出現する値 $-q$ を持つニューロン同士の干渉が強くなり、その分だけ記憶が安定しにくくなります。同じ名前を何度も呼ぶと、その名前を覚えた人だけが反応するはずの場でも、他の人がついつい顔を上げてしまう状態に似ています。この干渉の平均が偏りに依存して大きくなるため、次数が上がると容量が急激に低下する仕組みです。
干渉を消す方法があるんですか。使う側からすると、実際に動かせるんですか。
あります。活動量に依存する制御ポテンシャルを導入することで、干渉の平均を打ち消すことができます。これにより、偏りが固定されている場合でも、次数4以上において $N^{n-1}/\ln N$ の容量が回復します。これは、条件付きガウス分布の近似を用いて確認されています。
制御ポテンシャルを入れると容量が回復するんですね。理論的な枠組みの中での話ですか。
理論的な枠組みの中での話になります。シミュレーションと有限サイズ条件付きガウス分布の予測を比較したところ、制御ポテンシャルを入れると容量が回復する傾向が数値的にも確認できました。
偏りの範囲が $O(\ln N/N^{\lfloor n/2\rfloor-1})$ の範囲なんですね。研究している人から見ると、どこが新しいんですか。
従来は偏りがないパターンを前提に容量を計算していましたが、偏りがある場合でも容量を厳密に評価できる枠組みを示した点が新しいです。次数が 4 以上で容量の振る舞いが非一様な極限を取ることを指摘し、制御ポテンシャルで容量を回復できる可能性を提示しています。
最後に、今後の展開はどうなりますか。
条件付きガウス近似の範囲内で、活動量依存の制御ポテンシャルが条件付きクロストーク平均を打ち消し、固定された偏りでも容量を回復させます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文