LLM の出力が精度で変わる話、推論結果の安定性を保つ手法

論文

LLM の出力が精度で変わる話、推論結果の安定性を保つ手法

スポンサーリンク

LLMの Greedy Decoding は精度で出力が変わる。選択的 FP32 再計算で安定性を回復。

この記事のポイント

  • BF16とFP16で出力が異なる
  • 6モデルで49-100%が分岐
  • A10Gで+22-36pp、他GPUは+12-21pp

数字で見る

この記事に出てくる数字

モデル規模 1.1B-7B
プロンプト分岐率 49-100%
A10Gでの一致向上 +22-36pp

どこで使えるか

BF16とFP16で出力が揺れる環境向け。選択的再計算で安定性を得たい人向け。 arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

私、グリーディデコードって同じプロンプトなら必ず同じ出力が返ってくるんですよね?
確かに従来はそう扱われてきましたが、同じモデルとアルゴリズムでもBF16とFP16で出力が変わることが判明しています。
だとすると、既存の推論最適化手法は精度の差を考慮していなかったんですか?
その通りで、同じハードウェア上でも浮動小数点形式の違いが単一トークンの反転を招き、それが推論軌道レベルの分岐に連鎖します。
arXivに公開された本研究は、この精度非不変性を定量的に証明したものです。
その精度差が出力を分けるって、具体的にはどういう仕組みなんですか?
22層分の蓄積誤差が反転を決定するわけではなく、LMヘッドの上位2つのロジットマージンと方向性摂動の相対関係が最終出力を支配します。
なるほど、層をまたぐ誤差より直近のスコア差が勝敗を決めるんです!
では、6つのモデルでベンチマークした結果、どれくらいの割合で出力が分かれるんですか?
実際のベンチマークではどれくらい出力がズレるんですか?
6モデル3ベンチマークで評価した結果、プロンプトの49-100%が分岐しました。
対策を打った場合の改善幅はどのくらい見込めるんですか?
閾値以下になった時のみFP32でLMヘッドを再計算する介入手法で、A10Gでは正確一致率が22-36pp向上し、L4とA100でも12-21pp改善します。遅延オーバーヘッドは4%未満です。
でも、特定の条件でのみ再計算するだけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りで、FP32計算の適用範囲を広げると一致率は逆に悪化する傾向があり、設計コストと計算リソースのトレードオフは避けられません。
実際の環境で試す場合はどうすればいいんですか?
低バッチ環境でのエンドツーエンド推論遅延は4%未満で、バッチサイズ8以下の設定で正確な合意率が向上します。
4つのファミリー、12Bモデルも追加で評価し、5つの予測が実験で全て一致しました。
この分析手法は、モデルの精度を安定させる上で重要な役割を果たします。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文