The Cost of Compressionが、有限メモリでの事実圧縮による誤りの下限を示した
この記事のポイント
- 観測事実の記憶が有限ビット
- 圧縮歪みと未観測事実の分離
- 理論シミュと制御実験で検証
数字で見る
この記事に出てくる数字
| 情報量上限 | B bits |
|---|---|
| 訓練事実数 | M |
| 回答候補数 | K |
どこで使えるか
有限メモリで事実を圧縮し、誤りの下限を論じたい人向け。情報理論で分離可能。 理論式のみでモデル公開なし シミュレーション結果あり。実モデルへの適用は未確認
スポンサーリンク
解説
かみくだいて説明します
Xi Wang, Shijia Xu, Rongfeng Guo の研究チームが、論文を発表しました。大規模言語モデルが事実を正しく答えられる確率について、メモリ量と圧縮の限界を数式で示したものです。観測した事実を有限のビット数に圧縮するとき、必ず生じる誤差の下限を導き出しました。
有限のメモリで圧縮すると誤差が出るということですね。では、その圧縮による誤差と、そもそも覚えていない事実の誤差は、どう区別するんですか。
式を二つに分けて考えています。一つは学習データとして見た事実が、圧縮のせいで歪んで覚えている部分です。もう一つは、そもそも学習データに出てこなかった事実を答えようとして間違える部分です。この二つを足し合わせたものが、モデルが示す誤差の下限になります。
覚えているデータが歪む分と、知らないデータに当たる分の二つですね。式は事実の数、答えの種類、使うビット数で成り立っています。
検証しています。実際に学習させる事実の量と、モデルが使える実質的なメモリ量を変えて、制御された実験を行いました。式が予測する通り、メモリが逼迫するほど観測済みの事実の答えが歪んでいく傾向が確認できました。
式が予測する通り、メモリが逼迫するほど答えが歪むんですね。研究している人から見ると、これまでに何ができていなかったんですか。
従来の議論では、幻覚を記憶にない事実を拾えなかったカバレッジの問題として片付けていました。この研究は、記憶にある事実自体が圧縮で劣化するという歪みの問題を独立して定量化した点が新しいです。情報理論のレート歪関数の逆関数を使って、誤差の理論値を閉じた形で示しています。
レート歪関数の逆関数というのは、少し掴めません。もう少しやさしく言うとどうなりますか。
辞書で調べ物をすると想像すると分かりやすいです。限られたメモ用紙に情報を詰め込むとき、詰め込みすぎると字が潰れて読めなくなります。その字が潰れる速さと、メモ用紙の大きさの関係を数式で表したものが、レート歪関数の逆関数です。
限られたメモ用紙に詰め込むと字が潰れる関係ですね。では、作る人にとって、この式はすでに実装できる話ですか、まだ先の話ですか。
実装というよりは、モデルの設計や評価の指針になる話です。メモリをどこまで圧縮すれば誤差がどれくらい増えるかを事前に見積もれるので、取得する情報の量や返答を控える判断の基準に使える可能性があります。
最後に、この式がカバーしきれない部分はどこですか。
構造のある知識の整理や、外部の資料を参照する機能、そして答えをわざと出さない判断については、この式ではまだ扱えていません。そこはまだ分かっていません。今後はこれらの要素を式にどう組み込むかが課題になります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。