長文の記憶を改善する Double-Take、容量と結合と選択性を高める手法

論文

長文の記憶を改善する Double-Take、容量と結合と選択性を高める手法

スポンサーリンク

Double-Takeが、容量・結合・選択性で長文の記憶を改善した。

この記事のポイント

  • 固定メモリは長文で関係性を保てなかった
  • 多段階更新と双方向書き込みで改善
  • 32kbで訓練し131kbで0.927。1Mbは0.856

どこで使えるか

長い文脈で関係性を保ちたい人向け。32kbで学習し131kb以上でも高精度。 論文の記載なし コード・モデルの公開は本文に記載なし

スポンサーリンク

解説

かみくだいて説明します

Vakul Raghavanらの研究チームが、AIが長い文章を扱う記憶の仕組みを改善する「Double-Take」を2026年10月9日に発表しました。
長い文章の記憶ですね。技術者はどこに困っていたんですか?
従来の手法では一度に書き込むと情報が混ざり合って容量が頭打ちになり、離れた情報同士を結びつけることも、必要な情報だけを残すこともできませんでした。
混ざり合って頭打ちになるんですね。では、どう直したんですか?
何回かに分けて書き込むことで容量を増やし、離れた情報同士をクリップで留めるように結びつけ、雑音の中から必要な声だけ拾うように選別する仕組みにしました。
結びつきって、具体的にどうやるんですか? 分かりにくいんです。
散らばったページ同士をクリップで留めるようなものです。離れた場所の情報同士を直接つなぐことで、取り出すときに迷わなくなります。
0.10から0.92ですか。正確には、結びつきを加えたときのことですよね。
そうです。結びつきを加えた時点で0.92に跳ね上がります。
選別性はどれくらい効いたんですか?
選別性は関係のない情報に邪魔されずに必要な情報だけを残す役割です。32キロバイトの遺伝子配列で訓練しただけで、131キロバイトでは0.927、およそ1メガバイトでは0.856を達成しています。
32キロバイトで訓練して、131キロバイトや1メガバイトでも使えるんですか。
人間からマウスへのデータへの移植も成功しており、短いデータで学んだ記憶の仕組みが長いデータや別の種でも通用することが証明されました。
別の種でも通用する。では、現在開発中のモデルにこの手法は組み込み可能ですか?
手法の公開状況や組み込みの具体的なスケジュールについては、そこはまだ分かっていません。
組み込みの目途は立っていないんですね。最後に、次はどの分野に適用される見込みですか?
要旨に遺伝子配列での結果は示されていますが、分野ごとに順に試される予定という記述はありません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文