TypedBenchが7生成器9スイートで実測。ホスト型モデルは非商用モデルより文面依存で確率が上位回答より悪化する可能性がある。
この記事のポイント
- 公開データでは精度と較正しか報告されていなかった
- TypedBenchで7生成器9スイートで実測
- ホスト型は文面依存。ただし上位回答より悪化する
数字で見る
この記事に出てくる数字
| パラメータ規模 | 0.8B-9B |
|---|---|
| 生成器数 | 7 |
| 評価スイート数 | 9 |
どこで使えるか
確率出力で自動化を組む人向け。非対称コスト下で上位回答より悪化するリスクがある TypedBenchは公開済み 0.8B-9Bモデルのベンチマーク結果が記載
スポンサーリンク
解説
かみくだいて説明します
Rahul Sharmaらの研究チームが、人工知能の判断モデルを評価する新しい基準「TypedBench」を公開しました。これは、人工知能が選択肢や二択に対して確率を出して返すシステムが、実際の判断にどれくらい使えるかを測るものです。
確率を出して返すシステムなんですね。作る側からすると、そこまでの確率が本当に正確かどうか、どうやって測るんですか?
既存の評価では正解率や信頼度だけを出している場合が多く、明確な比較基準がなかったため、今回は 7 つの基準ラベル付きの生成器と 9 つの評価セットを組み合わせて作りました。正確さは文章の言い換えパターンごとの中央値と幅で出し、確率の狂いを、完全に正確な予測モデルが持つ最小のバラつきと比較します。
文章の言い換えパターンごとの中央値と幅で正確さを見るんですね。同じ質問を言い換えると結果が変わるかどうかを見る、ということですね。
そうです。同じ内容でも wording が少し変わるだけで確率が動くなら、そのシステムは言葉の選び方に左右されていることになります。評価では確率の質を、特定の信頼度以上の回答だけを採用する選択的予測や、順序がある答えに対する正則スコアリングルール、そして非対称のコスト行列の下での実現コストで測りました。
非対称のコスト行列って、例えば危険を逃がすミスと不要な警報を鳴らすミスの重みが違う場合、ということですか?
正確にはそうです。その中でシステムが出した確率を使って判断した場合、実際のコストがどれくらいかを見ます。
確率を使って判断した方が、コストが下がるわけではないんですね。
必ずしもそうなりません。実際にテストしたホスト型モデルはポリシーに従いますが言葉に敏感で、全体的に確率が低めに出ます。非対称のコストがかかる場面では、その確率を使って判断するより、一番確率が高かった回答をそのまま取る方がコストが下がる場合もありました。
確率を出しているのに、一番確率が高かった答えをそのまま使った方がいいという結果なんですね。
はい。デコーダー型は正確にルーティングしますが、選択肢や質問が増えると処理が遅くなります。ポリシーに関する質問では最も正確さが下がり、選択肢が増えるほど性能が劣化する傾向が見えました。
選択肢が増えると遅くなり、正確さも下がるんですね。
そうです。この結果から、判断モデルはポリシー順守、言葉への頑強さ、確率の質、そしてそれが引き起こす判断結果を、一緒に評価する必要があると結論づけています。
最後まで正確さを保つのは簡単ではないということですね。最後に、この基準を使って今後どのようなモデルが評価されていく見通しですか。
現在公開されている 0.8B-9Bパラメータのデコーダーファミリーについて、同じ項目で比較した結果を基に、実務で使う際の閾値設定やエスカレーションルールをどう組むかが課題です。そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。