言語モデルの深さを記憶として扱うLDM、400Mと1.5Bスケールでの性能向上

論文

言語モデルの深さを記憶として扱うLDM、400Mと1.5Bスケールでの性能向上

スポンサーリンク

LDMが、400M と 1.5B の規模で最も予測誤差が小さくなった。

この記事のポイント

  • 層間での表現混合を記憶問題として定式化
  • 再帰的最小二乗で層間情報取得を記述
  • 400Mと1.5Bで最低。ただし同系統のみ

数字で見る

この記事に出てくる数字

パラメータ規模 400M, 1.5B

どこで使えるか

層間情報取得を再帰的最小二乗で記述する人向け。メモリと通信を削減する実装も提示。 論文公開済み 400Mと1.5Bで評価

スポンサーリンク

解説

かみくだいて説明します

David González-Martínezらの研究チームが、2026-10-14 に arXiv に「Depth Memory」という論文を発表しました。ニューラルネットワークの層の間で情報をやり取りする仕組みを、記憶装置への書き込みと読み出しに置き換えて考えるフレームワークです。
層の間で情報をやり取りする、つまりネットワークの奥深くまでデータが通る道ですね。その道に記憶の仕組みを加えると、今までのモデルと比べてどこが良くなるんですか?
従来の残差接続では層の出力を単純に足し合わせるだけでしたが、この新しい枠組みでは情報を蓄えて後から取り出せるようになります。具体的には「Linear Depth Memory」と呼ばれる新しい構造で、再帰的最小二乗法という回帰問題を解く形で情報を取り出す設計になっています。
再帰的最小二乗法というのは、統計で使う回帰分析の一種ですよね。それをネットワークの奥深くの情報整理に使うってことですが、そこがまだ掴めません。
簡単に言うと、手元の資料から必要な情報だけを素早く引き出す作業に置き換わります。過去のデータ全部を比べるのではなく、必要最低限の計算だけで次の層に必要な答えを導き出すイメージです。
なるほど。必要な部分だけを取り出すから、計算の負担も減りそうですね。実際に動かすときに何が要るんですか。
計算の負担を減らすために、ハードウェアの特性に合わせた実装も提案しています。ピーク時の活性化メモリの使用量と、メモリをやり取りする通信量を削減する設計になっています。
メモリの通信量を減らすって、データを送り合う回数を減らすってことですね。どれくらい変わるんですか。
具体的な削減率は明記されていませんが、400M と 1.5B のパラメータ規模で、従来の PreLN や mHC、AttnRes を比べて最も低いパープレキシティを記録しています。ゼロショットの精度も競合と同等以上です。
パープレキシティが下がったって、モデルが予測する時の誤差が減ったってことですよね。研究している人から見ると、どこがまだ解けていないんですか。
現在の枠組みは 1.5B 規模までの検証にとどまっており、さらに大規模なモデルに拡張した時の振る舞いについては、そこはまだ分かっていません。
では、次はどんな話でしょうか。
層間の情報伝達を記憶操作として統一して捉えることで、従来の PreLN や mHC、AttnRes を一つのパッケージで説明できる点が新しいです。これにより、手法ごとの違いを明確に比較できるようになります。研究者が新しい構造を試す際も、この枠組みを基盤にすれば既存の手法との差を正確に測れるようになります。
最後に、この手法が実用化される見通しはありますか。
400Mや1.5Bパラメータ規模で、PreLNやmHC、AttnResより低いパープレキシティを達成し、ゼロショット精度も競争力があることが示されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文