256トークン学習・1024トークンのテストで誤りが約3.4分の1に
この記事のポイント
- 固定遷移型は全入力同じ読み出し
- 読み出し位相を現在トークン関数化
- 256→1024でPPL12.81→3.76
数字で見る
この記事に出てくる数字
| パラメータ増加 | 0.2% |
|---|---|
| 学習トークン数 | 256 |
| テストトークン数 | 1024 |
どこで使えるか
256トークン超で性能が落ちるモデルを改善したい人向け。 arXivで公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
Shivesh Rane さんが arXiv に公開した論文です。固定サイズの記憶を使う文章モデルで、読み出すときの位相を入力ごとに変わる仕組みに改良しました。訓練コストを増やさず、長い文章での精度を大幅に上げられます。
読み出す位相をその都度変えるんですか。作る側からすると、既存のモデルに差し替えるだけで済む話ですか。
差し替えです。もともとの ResonatorLM は頭ごとに決まった位相で記憶を読み出していました。それを現在の文字列に合わせて変えるだけで、追加パラメータは 0.2 パーセントです。訓練のやり方も変更不要です。
既存の仕組みを少し変えるだけなんですね。ただ、位相を変えることで本当に長い文章が扱えるようになったんですか。
扱えるようになります。WikiText-2 上の 6M パラメータの文字モデルで検証しました。従来のモデルは 256 トークンで訓練して 1024 トークンをテストすると、誤差が 12.81 まで膨らみました。改良版では 3.76 まで下がります。失敗していた原因は、長い記憶を扱う頭が訓練で見たことのない歴史を溜め込んでいた点にあります。位相が入力に追従するようになったので、その累積が解消されます。
訓練で見たことのない歴史を溜め込むのが原因だったんですね。では、位相は距離ではなく現在の文字を追跡するんですか。
追跡します。位相は文字の位置ではなく、今見ている文字そのものに合わせて動きます。そのため、特定の文字を後から探し出す検索性能は残念ながら向上していません。
検索には役立たないんですか。研究する側から見ると、この位相の性質をどう活用するかが次の課題になりますか。
活用方法はまだ研究中です。訓練していない段階の位相を見ると、経過時間を符号化していることが分かっています。ただ、通常のトークンは 2 から 8 ステップで背景ノイズに埋もれてしまい、位相の減衰をどう設定しても 16 トークンを超える線形再構築は難しいと分析されています。
16 トークンが限界なんですね。線形再構築が難しいというのは、具体的にどのくらい情報が失われるんですか。
振動子の束が持つ位相は、文字が入ってくるとその刻みをずらします。減衰の選び方を変えても、刻みのズレをそのまま読み取れる範囲はおよそ16トークン先までで、それを超える範囲へは線形な読み取りを広げられません。
16 トークン先は復元不能になるんですか。では、実用レベルのモデルにこの仕組みを取り入れる場合、計算量はどれくらい増えるんですか。
計算量はほぼ変わりません。読み出し部分だけ入力依存になるため、畳み込み経路は正確なまま保たれます。パラメータの増加も 0.2 パーセント程度で済むため、既存のハードウェアでそのまま動かすことができます。
計算量が増えないなら導入しやすいですね。最後に、この論文の次の展開として何が期待されていますか。
学習済みバンクの解析では、位相が経過時間を符号化しているものの、通常のトークンは2〜8ステップで背景に埋もれ、減衰の選び方によらず16トークン先まで線形再構築が不可能です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。