LLMの推論コストを下げるための生成トークン削減手法、テスト時の計算資源配分

論文

LLMの推論コストを下げるための生成トークン削減手法、テスト時の計算資源配分

スポンサーリンク

Certaintyを活用したコスト削減手法が、生成トークンを82.4%削減しつつ正答率を向上させた。

この記事のポイント

  • 確信度が正答性を代用する根拠が不明
  • モデルとタスクを変えて確信度を評価
  • 精度は78.71%から79.54%に向上

数字で見る

この記事に出てくる数字

トークン削減 82.4%

どこで使えるか

推論コストを下げつつ正答率を上げたい人向け。生成トークンを減らしつつ精度を高める arXivで論文公開済み コード・重みは記載なし

スポンサーリンク

解説

かみくだいて説明します

Yunfan Zhou さんたちの研究チームが、大規模言語モデルのトークン単位の確信度を調べた論文を発表しました。確信度は正解かどうかを推し量る指標としてよく使われていますが、実は質問自体が解けるかどうかを見分ける能力と、同じ質問への答えが正しいかどうかを見分ける能力では、はっきりとした差があることが分かっています。
なるほど、同じ確信度でも見分ける対象が違うんですね。研究している人から見ると、どこが新しい発見なんですか。
確信度というのは、モデルが 1 つ 1 つの文字を出した瞬間に持っている自信の度合いです。例えば料理人が皿に盛るたびに味見をして、塩加減が自分の中で何割完成したかを数えているようなものです。実験の結果、モデルが答えを出し始める前の早い段階で確信度が下がるのは、その質問自体が難しいことを示しています。一方、答えが正しいかどうかの情報は、最後の文字に近づくほどはっきりと表れる傾向がありました。
料理人の味見に例えると確かに分かりやすいですが、確信度が下がった時に答えを捨てていいかどうか、そこがまだ掴めません。
確信度には質問の難易度と答えの正解性の両方の情報が含まれていて、難易度に関する情報は生成の初期段階に現れ、答えの正解性に関する情報は生成の終盤に集中しています。この違いが、確信度を使って生成する答えの数を減らす判断に直結しているのです。
生成する数を減らす判断に直結するなら、開発側の負担は大きく軽くなりますね。では、実際にこの仕組みを組み込む技術者から見ると、いま使われている多数決のやり方を置き換える話ですか。
実用面での利点を示す研究です。モデルが生成する途中で確信度を使い、早い段階で答えの数を決め、最後の部分で多数決の重みを調整します。固定された数の答えを選ぶ従来の方法と比べると、正解率は 78.71% から 79.54% に上がり、生成コストを 82.4% 削減できました。
コストが大幅に下がって精度も上がっていますね。ただ、この削減率は全てのモデルで同じように達成できる数字なんですか。
そこはまだ一律ではありません。確信度が持つ情報は、使うモデルの種類や、確信度を測る指標、そして答えのどの位置の文字をまとめて判断するかによって変わります。どの条件で組み合わせるかで、期待する効果の大きさも変わってくるのが実情です。
条件によって期待値が変わるなら、現場で使う側はどの指標を基準にすればいいか迷いますね。では、この結果を次のステップに進める上で、まだ解けていない課題はどれなんですか。
確信度を使って生成の前半で答えの数を割り振り、後半で投票に重みをつける仕組みは、答えの数を固定して多数決を取るやり方と比べて、正解率を78.71%から79.54%に上げながら、生成するトークンの量を82.4%減らしています。
幅広い分野での活用がまだ先なら、まずは特定の用途から実装されていきそうですね。最後に、この研究を現場で使う側が一番知りたいのはどこなんですか。
生成コストを82.4%削減しつつ精度を79.54%まで引き上げる手法が、実用面での価値を示しています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文