Attention Manifoldsが、LLaMA 3.2 の出力を 69〜83% 変更し、事実誤認を修正した。
この記事のポイント
- 標準アテンションは値ベクトルを一律に送る
- クエリキー対話で値を制御するBスプライン面を学習
- WikiText-2で2-2.5点改善。ただし112件評価のみ
数字で見る
この記事に出てくる数字
| パラメータオーバーヘッド | 0.3% |
|---|---|
| 出力変更率(1B/3B) | 69%/83% |
どこで使えるか
事実誤認を修正したい人向け。Bスプライン面の編集で出力を幾何的に制御可能 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Naveen Mysore さんが発表した研究で、言語モデルの内部構造を変える手法が報告されました。標準的な Transformer では単語から送る情報が相手全員に同じですが、この手法では送る側と受け取る側の組み合わせに応じて情報を形変えられます。滑らかな三次スプライン曲面を一つずつ用意し、そこに届ける情報量を割り当てる仕組みです。
送る情報そのものを変えられるんですか?
はい、正確には表面の形そのものです。三次スプライン曲面は、複数の点を結んで滑らかな板を作る数学的な図形で、これをモデルの各層に貼り付けて点の位置に応じて情報量を調整します。
三次スプライン曲面って、分かりません。身の回りのもので例えるとどうなるんですか。
複数の点を結んで滑らかな板を作る図形です。板の形を歪めるだけで、モデルがどの情報を選ぶかを変えられます。初期状態では板を平らに保つため元の性能を損なわず、学習で板の形を変えるだけで答えの傾向を操作できます。
板を歪めるだけで答えが変わるんですね。では、追加するパラメータはどれくらい増えるんですか。
試した LLaMA 3.2-1B-Instruct と 3B-Instruct では、予測の正確さを表すパープレキシティを 2 から 2.5 点下げ、追加パラメータは 0.3 パーセントに抑えています。112 種類のプロンプトに対して答えを 69 パーセントから 83 パーセント変え、特に意味が複数ある言葉が出たときには 94 パーセントから 100 パーセントの確率で答えが書き換わりました。
意味が複数ある言葉でほぼ全て変わるんですね。では、曲面の係数を逆にしたらどうなるんですか。
係数を反転させると、10 個のプロンプト中 9 個で出力が変わります。さらに係数をマイナス 1 に固定すると、特定の情報経路だけを完全に遮断する壁ができます。実験では爆発物の作り方を尋ねるプロンプトに対し、この壁が特定の指示を教育用の一般的な内容へ書き換える様子も確認されています。
情報経路を塞ぐ壁ができるんですね。では、この仕組みは既存のモデルに後から付けられるんですか。
初期値をゼロに設定したスプライン曲面を、既存の attention 層の上に重ねる形で組み込みます。学習済みの重みを壊さずに追加できるため、研究者がプロンプトごとの制御を試す際や、実装側が安全フィルターを後付けで設定する際の基盤になり得ます。
層全体に壁を作ると、爆発物に関する質問が一般的な教育的内容に変わる予備実験もあったそうです。
これはまだ予備的な実験の段階で、層全体に壁を設定すると爆発物に関するプロンプトへの応答が具体的な手順から一般的な教育的内容に変わったという一例にとどまりますが、安全性を意識した曲面の作り方につながる可能性を示しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。