選択的状態空間モデルの非可換拡張を提案し、長期記憶と幾何追跡の精度を向上させる話

論文

選択的状態空間モデルの非可換拡張を提案し、長期記憶と幾何追跡の精度を向上させる話

スポンサーリンク

NC-SSMが非可換群追跡で精度向上を確認。Dyck-2で74.36%、ASTスコープ追跡で30.26%を達成。

この記事のポイント

  • 遷移行列の可換性に制限があった
  • 非可換群追跡モデルNC-SSMを開発
  • Dyck-2で74.36%。ただしASTは30.26%

数字で見る

この記事に出てくる数字

Dyck-2精度 74.36%

どこで使えるか

長期記憶と幾何追跡の両立を試す人向け。ただし深層ASTでは精度が低い 論文発表のみ。コード公開の記載なし 数値は実験結果。実装は未確認

スポンサーリンク

解説

かみくだいて説明します

天津医科大学のZeyu JiaさんがarXivに発表した研究で、MambaやS4D、LRUといった選択型状態空間モデルが、行列の可換性という数学的な壁にぶつかっていたことが明らかになりました。
行列の可換性ですか。どういう壁なんですか?
計算の順序を入れ替えても結果が変わらないように制限されていたということです。前の状態から次の状態へ進むとき、順番を自由に変えられなかったことになります。
順番を縛る制限ですね。新しいモデルはそれをどう解いたんですか?
非可換群の動きを直接追跡するNC-SSMという構造を導入し、厳密な等長変換を使うことでその制限を完全に外しました。
厳密な等長変換ですか。数値でどれくらい良くなったんですか?
Dyck-2のテストで74.36%、深層構文木の範囲追跡で30.26%を記録し、pが0.0081と統計的に有意な差を出しました。
確かに上がっていますね。厳密な等長変換が必須というのは、作る側にとって扱いにくい条件にはなりませんか?
計算の安定性は上がりますが、確かに実装の手間は増えます。ただ、航法誤差を0.04度までに抑え、アクティブな接線ノイズ除去も行うなど、長い範囲の記憶を損なわずに保持するには必要な制約だと結論づけています。
導来長で580,000倍のアドバンテージがあるという話もありましたが、従来のモデルが辿り着けなかった領域なんですか?
従来のモデルが扱える変換の範囲には上限があり、それを超えると数学的に解けなくなる壁に突き当たります。新しいモデルはその壁を越えた領域を正確に追えるようになります。
まだ理論段階の検証だけですか、実際に組み込める段階なんですか?
現時点では理論とベンチマークの検証が中心で、実際のシステムへの組み込み方法については、そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文