Grokkingで重みが二値化する仕組みをReLU MLPで解析した話

論文

Grokkingで重みが二値化する仕組みをReLU MLPで解析した話

スポンサーリンク

Grokkingは記憶段階ですでにアルゴリズムが隠れており、重みの二値化で汎化に至る

この記事のポイント

  • ニューラルネットの学習メカニズムは不明
  • ノイズデータで学習したモデルの重みを抽出
  • 再構築モデルは95.5%。ただし学習精度0.23%

数字で見る

この記事に出てくる数字

理想モデル精度 95.5%
ノイズデータ精度 0.23%

どこで使えるか

重みの二値化で汎化に至る仕組みを知りたい人向け。学習過程の解明に使える arXivで論文公開済み モデルコードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Anand Swaroopさんが発表した研究で、人工知能の学習モデルがデータを暗記した後に突然正解率が高くなる現象を詳しく調べました。
なるほど、暗記した後に正解率が上がるんですか。研究している人から見ると、どこが新しい発見なんですか。
これまでの研究では正弦波のような波形になると言われていましたが、今回の ReLU MLP では、ほぼゼロか一かの二値に近い四角波の波形を学習することが分かりました。
四角波というのは、時計の針が動いて戻りを繰り返す波のことですか。そこがまだ掴めません。
違います。波の山と谷がはっきり分かれて、直角に切り替わる波形です。電車のホームの改札のゲートが開いたり閉じたりするイメージに近いです。
開閉がはっきりしている波形なんですね。では、作る人から見ると、この波形を直接取り出して別のモデルに使えるんですか。
使えます。各神経の波形の周波数と位相を数学的に分解して、理想的な四角波と余弦波だけで組み替えたモデルを作りました。
理想的なモデルで、どれくらいの正解率が出たんですか。
正解率 95.5% を記録しました。一方、元のモデルはノイズの多いデータで学習したため、正解率 0.23% しか出せていません。
正解率 0.23% の段階で、すでに正しい答えの種が入っていたということですね。では、なぜその後に正解率が上がるのか、まだ解けていない部分はどこなんですか。
そこはまだ分かっていませんが、学習が進むにつれて入力側の重みがより鮮明な四角波に整い、出力側の位相が足し算の関係に揃っていく過程で、初めて一般化が可能になるという結論です。
なるほど、暗記の段階ですでに設計図は完成していたんですね。 AI を自分の仕事で使っている人から見ると、この仕組みが分かると、学習の仕方はどう変わるんですか。
ノイズ混じりのデータで学習したモデルの重みから周波数や位相を抽出し、理想的なモデルを再構築すると、95.5%の精度を達成します。つまり、暗記段階ですでに設計図は完成していたと言えるのです。
では、限られた問題だけなんですね。 最後に、この仕組みは他の複雑なタスクでも確認できるんですか。
そこはまだ分かっていません。 複雑なタスクへの適用については、これ以上の検証が必要だと考えています。
あわせて、先月には記憶を過ぎた後の汎化遷移である「grokking」現象に取り組む別の研究も出ています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文