再帰的深さTransformerの比較 LSTM-UT、BUT、CoTFormer、セル・オートマトンの推論

論文

再帰的深さTransformerの比較 LSTM-UT、BUT、CoTFormer、セル・オートマトンの推論

スポンサーリンク

LSTM-UTが、再帰的深さTransformerの推論で、既存手法より精度と遅延再現を向上させた

この記事のポイント

  • BUTはCoTFormerより外挿が確実
  • ただし精度は最終的に低下する
  • LSTM-UTが両タスクで最良

数字で見る

この記事に出てくる数字

ルール Rule 30

どこで使えるか

再帰的深さの推論を安定させたい人向け。未見深さへの外挿と遅延再現の両方で改善する arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Aras Kavuncu が arXiv に公開した論文は、Rule 30 という規則の上で、3つの再帰型ディープトランスフォーマーモデルを比較しています。
3つのモデルを同じルールで競べたんですね。比較する基準は具体的に何ですか。
見ているのは、未知の再帰深さへの拡張精度と、遅延想起というタスクです。BUT は現在の隠れ状態だけを保持し、CoTFormer は拡張する注意機構のキャッシュも残します。LSTM-UT は制限された門付きメモリを使います。
注意機構のキャッシュが拡張するというのは、使った情報をどんどん貯めていくイメージですか。
そうです。正確には、過去の計算結果を順番に積み上げていく仕組みです。LSTM-UT の制限された門付きメモリは、図書館で貸出冊数を上限にしているようなものです。新しい本が入ったら古い本を返すように、情報を一定量に保ちます。
過去の情報が打ち消し合うなら、情報をため込む意味がないではありませんか。
BUTはCoTFormerより拡張精度が安定していますが、精度が低下する局面もあります。CoTFormerは現在の状態を補正しても、残した過去情報がそれを打ち消すため、失敗します。LSTM-UTは両タスクでこれらベースラインを上回りました。
研究している人から見ると、どこが新しいんですか。
繰り返しの計算と後の取り出しに、門付きメモリが有効な帰納的バイアスになることを示した点です。実験は Rule 30 のセルオートマトン上で行われ、状態とキャッシュの干渉を直接観測できたことが特徴です。
帰納的バイアスとは、モデルが学ぶときの前提条件みたいなものですか。
そうです。正しくは、データが少ないときでも正しい方向へ導く設計上の癖付けです。CoTFormer の失敗は、現在の状態と保持した履歴の相互作用に依存することがわかったのです。
作る人にとって、この設計はすぐ使えますか。
論文にはモデルの構造と評価結果が示されていますが、コードの公開や実装の手順については、そこはまだ分かっていません。
最後に、今後の展開で何が知りたいですか。
要旨では、BUTがCoTFormerより見えない再帰深さへの外挿がより信頼できることが示されています。LSTM-UTは両方のタスクで改善が見られ、門付きメモリが有効なインダクティブバイアスであることが支持されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文