TALHが、SSM を外すと性能が最も低下する構成だった
この記事のポイント
- MLAとSSMの役割分担は不明確だった
- 117〜217Mパラメータの5型を同条件で学習
- SSMなしがPPL315と大。ただし単一シード
どこで使えるか
MLAとSSMの役割分担を自前で調べたい人向け。単一シードで商用利用不可。 arXivで公開済み Apple M3でのみ評価済み
スポンサーリンク
解説
かみくだいて説明します
最近、小さなモデルでもアテンションとSSMを並列で使う設計が増えていますよね?
確かにその通りです。エッジデバイス向けに推論遅延を削りつつ、コンテキスト長を維持する試みが活発になっています。
でも、単純に組み合わせただけだと、逆に重くなったりしないんですか?
そうですね。メモリ帯域が飽和すると、各モジュールの恩恵が相殺されてしまいます。
arXivに公開されたTALHという研究が、その壁を並列MLAとカスタムSSMで突破しようとしています。
そのアプローチって、具体的にはどういう仕組みなんですか?
MLAとSSMの2つのブランチがあり、SSMをなくすとPPLが315と大きく悪化しますが、MLAをなくすと239と比較的小さい影響です。
確かに!メモリ効率が劇的に良くなりそうですよね!
MLAだけの構成が512から2,048トークンまで時間のかかり方が一番平坦でした。
実際の数値上、どれくらい改善したんですか?
MLAだけの構成で検証パープレキシティが315と大きく悪化しますが、SSMだけでも239まで回復します。密なFFN構成は231を記録し、トップ2のternary-MoE構成の240を切り、ピークメモリを3.87 GB削減しています。
3.87 GBも差が出るんですか?
そうです。512から2,048トークンのプロンプト長でMLA構成が初-tokenまでの曲線が最も平坦になり、絶対速度では密Transformerが上回ります。
でも、特定の構成に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。シングルシードかつパラメータ数が一致していないため、一般論としては断定できません。
実際に自分で動かすにはどうすればいいんですか?
公開リポジトリからコードをクローンし、Apple M3環境でプロンプト長を変えながらベンチマークを実行してみてください。
実装固有の仮説をサポートする結果ですが、MLAやSSMに関する一般的な結論にはなりません。
確かに!エッジAIの選択肢が広がりますよね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。