LLMの Greedy Decoding は精度で出力が変わる。選択的 FP32 再計算で安定性を回復。
この記事のポイント
- BF16とFP16で出力が異なる
- 6モデルで49-100%が分岐
- A10Gで+22-36pp、他GPUは+12-21pp
数字で見る
この記事に出てくる数字
| モデル規模 | 1.1B-7B |
|---|---|
| プロンプト分岐率 | 49-100% |
| A10Gでの一致向上 | +22-36pp |
どこで使えるか
BF16とFP16で出力が揺れる環境向け。選択的再計算で安定性を得たい人向け。 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
私、グリーディデコードって同じプロンプトなら必ず同じ出力が返ってくるんですよね?
確かに従来はそう扱われてきましたが、同じモデルとアルゴリズムでもBF16とFP16で出力が変わることが判明しています。
だとすると、既存の推論最適化手法は精度の差を考慮していなかったんですか?
その通りで、同じハードウェア上でも浮動小数点形式の違いが単一トークンの反転を招き、それが推論軌道レベルの分岐に連鎖します。
arXivに公開された本研究は、この精度非不変性を定量的に証明したものです。
その精度差が出力を分けるって、具体的にはどういう仕組みなんですか?
22層分の蓄積誤差が反転を決定するわけではなく、LMヘッドの上位2つのロジットマージンと方向性摂動の相対関係が最終出力を支配します。
なるほど、層をまたぐ誤差より直近のスコア差が勝敗を決めるんです!
では、6つのモデルでベンチマークした結果、どれくらいの割合で出力が分かれるんですか?
実際のベンチマークではどれくらい出力がズレるんですか?
6モデル3ベンチマークで評価した結果、プロンプトの49-100%が分岐しました。
対策を打った場合の改善幅はどのくらい見込めるんですか?
閾値以下になった時のみFP32でLMヘッドを再計算する介入手法で、A10Gでは正確一致率が22-36pp向上し、L4とA100でも12-21pp改善します。遅延オーバーヘッドは4%未満です。
でも、特定の条件でのみ再計算するだけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りで、FP32計算の適用範囲を広げると一致率は逆に悪化する傾向があり、設計コストと計算リソースのトレードオフは避けられません。
実際の環境で試す場合はどうすればいいんですか?
低バッチ環境でのエンドツーエンド推論遅延は4%未満で、バッチサイズ8以下の設定で正確な合意率が向上します。
4つのファミリー、12Bモデルも追加で評価し、5つの予測が実験で全て一致しました。
この分析手法は、モデルの精度を安定させる上で重要な役割を果たします。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。