周波数でQ/Kを置き換える FourierQK のフィルタ形状を調べる実験

論文

周波数でQ/Kを置き換える FourierQK のフィルタ形状を調べる実験

スポンサーリンク

FourierQKのフィルタ形状実験で、直流成分が有害で最適帯域幅が約2と判明。

この記事のポイント

  • フィルター形状の最適解が不明だった
  • 6層GPTで5つの仮説を制御実験で検証した
  • 双方向Attentionで有効。ただし自己回帰生成には因果版が必要

数字で見る

この記事に出てくる数字

DC/Nyquist値 val ~= 2.0
最適帯域幅 sigma ~= 2
段落スケール ~70 tokens

どこで使えるか

双方向モデルで文脈圧縮を組む人向け。自己回帰生成には不向き。 GitHubで公開済み 6層GPT/TinyShakespeare限定

スポンサーリンク

解説

かみくだいて説明します

アタナシオス・ゼリスさんが発表した FourierQK という研究です。標準的な dot product attention を、周波数帯域を通すフィルターで置き換える手法が、およそ 1.15 nats の精度向上を実現しました。
従来の dot product attention と比べて、周波数帯域を通すフィルターで置き換えることで、どこが新しくなりますか?
従来の dot product attention は文章のすべての単語を一度に処理しますが、この手法は特定の周波数帯域だけを抽出して処理します。ちょうどラジオのチューナーで特定の放送局だけを選局して聞くようなイメージです。
特定の周波数だけを使うんですね。では、フィルター選びで一番気をつけないといけない条件はありますか?
直流成分とナイキスト周波数成分は積極的に避けないといけないことが分かっています。これらを含めてしまうと、位相がランダムになるのと同等の val 2.0 の劣化が起き、精度が下がってしまうんです。
直流成分とナイキスト周波数成分は避けるんですね。位相がランダムになるのと同等というのは、具体的にどういう状態を指すんですか?
信号の向きや並び順が完全に無秩序になる状態です。整理された情報ではなく、ただの雑音に近い状態になってしまうと考えると分かりやすいです。
雑音に近い状態になるんですね。では、実際に使える最適なフィルター幅はどれくらいですか?
最適な単一スケールのフィルター幅は、およそ 2 ビンで、段落スケールの およそ 70 トークンを中心に置くのが最も効果的でした。これにより、従来の dot product attention に対して およそ 1.15 nats の純粋な精度向上が確認されています。
およそ 70 トークンを中心に置くのが最適なんですね。研究している人から見ると、このフィルター形状の選び方でまだ解けていない課題はありますか?
双方向の文脈を一度に扱えるエンコーダー型モデルでは有効ですが、文章を先頭から一つずつ生成するデコーダー型モデルでは因果的な時間領域のモレッレ波が使えないことが分かっています。K 128 タップでは T 256 の文脈の 50 パーセントしかカバーできず、従来の dot product attention を上回れなかったからです。
一つずつ生成するタイプでは使えないんですね。最後に、デコーダー型モデルへの対応はどうなりますか?
因果的なスペクトル変種であるMorletQKが適しており、コードはGitHubで公開されています。デコーダー型モデルへの対応として提案されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文