八回に分けた生成は、バッチ一つで八個出したより電力が約4.64〜4.86倍、待ち時間が約5.77〜6.12倍かかる
この記事のポイント
- 生成候補数だけではコストは決まらない
- 1回8個と8回1個で電力と遅延を比較
- 8回に分けると電力は最大4.86倍
どこで使えるか
複数候補を一度に生成してコストを抑えたい人向け。バッチ数を減らすと電力と遅延が大幅に削減される arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Mobina KashaniyanさんとAli Jannesariさんの論文で、500個の問題を使って大規模言語モデルが複数の答えを生成するテスト時のスケーリングについて、生成の仕方がエネルギーと性能に与える影響を調べました。
複数の答えを一度に出すのと、何回かに分けて出すのでは、結果に違いが出るんですか。
答えの数は同じでも、出し方によってエネルギーの消費量が大きく変わります。今回8個の答えを固定して、1回で8個出す場合と、8回に分けて1個ずつ出す場合をA100というGPUで比較しました。8回に分けて出す方は、1回で出す場合に比べ、GPUが使うエネルギーが4.64-4.86倍に増え、応答の遅延も5.77-6.12倍に延びました。
1回にまとめて出す方が、エネルギーも遅延も抑えられるということですね。
正確には、メモリの空き状況と答え同士が独立している場合に、少ない呼び出し回数で大きなバッチサイズを使う方が効率的です。バッチというのは、複数の処理をまとめて1回に実行する仕組みで、同じ作業を何度も繰り返す手間を省くイメージです。
処理をまとめて回す回数を減らすわけですね。では、答えの数を増やすこと自体は、モデルの精度にどう影響するんですか。
500問のGSM8Kで、答えの数を1から8に増やすと、Phi-3-miniのモデルで精度が8.4ポイント上がり、Qwen2.5-1.5Bでは18.4ポイント上がりました。ただし、答えの数だけではGPUの消費電力や処理時間といったシステムコストはわからないということです。
精度だけでなく、GPUの消費電力や処理時間といった数値も一緒に報告する必要があるということですね。
その通りです。これまでは答えの個数と正解率だけを見て評価していましたが、今回の研究では生成スケジュールとGPUレベルのシステム指標をセットで報告するべきだと指摘しています。
生成スケジュールとシステム指標をセットで報告する、という指針が明確になったということですね。
そこはまだ分かっていません。論文では実験環境として生成スケジュールを変えて比較していますが、実際のサービスでどう設定するかについては言及されていません。
最後に、実際のサービス導入に向けて、どのような課題が残っていますか。
V100での実験でも同様の傾向が確認されていますが、より大規模なモデルへの適用方法については今後の検討課題です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。