Semantic entropyが、30億パラメータ未満のモデルの精度を最大50ポイント上げた
この記事のポイント
- トークンレベルのエントロピーが機能しなかった
- 意味ベースのエントロピーで信頼度を測った
- 最大+50pp向上。ただし同系統では+6.8%
数字で見る
この記事に出てくる数字
| パラメータ上限 | 3B |
|---|---|
| 評価モデルペア | 7 |
| ベンチマーク数 | 5 |
どこで使えるか
小型モデルの精度を上げたい人向け。ルーティング先を系統外に選ぶと効果大 論文の手法で公開済み Semantic entropyの計算には複数サンプル生成が必要
スポンサーリンク
解説
かみくだいて説明します
30億パラメータ未満の小型言語モデルで推論する際、モデル自身が自信がないと判断して処理を止める技術って、実用レベルで使えるんですよね?
確かにその方向性は研究でよく議論されますが、実際の小型モデルでは期待通りに動かないケースがほとんどです。
既存の信頼度推定手法って、なぜ小型モデルでは機能しなくなるんですか?
従来のトークンレベルのエントロピー評価は、91%のデータセットとモデルの組み合わせで正解だろうが不正解だろうがほぼゼロに近い値しか出力しません。
arXivに公開された論文では、セマンティックエントロピーという手法でこの課題に挑んでいます。
セマンティックエントロピーって、具体的にはどういう仕組みなんですか?
意味ごとに回答をクラスタリングし、分布のばらつきを不確実性スコアとして算出します。このスコアを使って不確実なクエリをより大きなモデルにルーティングすると、精度が最大50ポイント向上します。
意味単位で評価するんですね!確かに出力のばらつきが直感的に分かりやすいです!
実際の精度向上効果はどのくらいあるんですか?
不確実なクエリをより大きな専門モデルにリダイレクトするだけで、精度が最大で50ポイント向上します。
同じアーキテクチャのモデル間と、違うモデル同士を組み合わせる場合で差はあるんですか?
家族が違うモデル間からPhi-3.5-miniへリダイレクトする場合は平均22.0ポイント向上し、同じ家族内のリダイレクトは6.8ポイントにとどまります。
でも、結局は大きいモデルに委ねるだけなら、小型モデル単体の性能向上にはなっていないんじゃないですか?
その通りです。小型モデル単体の性能向上ではなく、専門モデルへの委ね方を変えることで、精度を最大50ポイント向上させるのが目的です。
実装はどのように試せるんですか?
セマンティックエントロピーの手法は、回答を意味でクラスタリングして分布の不確実性を測定するものです。これを使って不確実なクエリをより大きなモデルにルーティングするだけで、最大50ポイントの精度向上が実現しています。
7モデルペアと5ベンチマークで検証し、セマンティックエントロピーによるルーティングが最大50ポイントの精度向上を実現しました。
小型モデルの限界を補完するスマートな運用方法が確立されそうですね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。