LLM の判定をテキスト生成ではなく確率で出す Jev を deepeval で使う話

ツール・基盤

LLM の判定をテキスト生成ではなく確率で出す Jev を deepeval で使う話

スポンサーリンク

Jevの deepeval 対応が追加。判定にテキスト生成を使わず確率を使う。

この記事のポイント

  • LLM判定で揺れ・遅延・高コストがあった
  • 判定を言語モデルから専用モデルに分離
  • CI毎に実行可能。実験モード限定

数字で見る

この記事に出てくる数字

コスト $0.042/1M
応答速度 ~100ms

どこで使えるか

判定の揺れを減らしたい人向け。CIで頻繁に実行する人向け。 deepevalで公開済み 実験的モードで利用、APIキー設定が必要

スポンサーリンク

解説

かみくだいて説明します

github-actions[bot]が 23 日に、deepeval のバージョン 4.2.2 で Jev という新しい判定モデルをサポートしたと発表しました。Jev は TypeSafe AI が開発した System One というモデルで、文章を生成する言語モデルではなく、与えられた状態と限られた質問から、確率付きの型付き判断を返す仕組みです。
文章を作らないモデルなんですね。判定の現場では、どこがどう変わるんですか?
従来は判定も言語モデルに任せていたため、同じ質問を繰り返しても結果がぶれやすく、コストもかかっていました。Jev を使うと、判定結果が固定の基準値に割り当てられるので、実行するたびに結果が変わる悩みが減ります。例えば、テストの正誤を赤ペンで丸やバツでつける代わりに、答え合わせの段階だけを専用端末に任せて、その端末が確率で判定するイメージです。コストは入力の 100 万トークンあたり $0.042 で、応答速度はおよそ 100 ミリ秒です。
100 万トークンで $0.042 なら、コスト面は確かに大きいですね。既存の判定ルールとどう使い分けるのか、気になります。
文章を抽出する部分や、ルールの有無で使い分けます。 FaithfulnessMetric では、文章から主張と根拠を抽出する段階は従来通り言語モデルが担当し、その主張が正しいかの判定だけを Jev に委ねます。GEval では、評価基準を指定しない場合は Jev が判定し、基準を指定した場合は言語モデルに点数をつけてもらいます。
抽出と判定を分けるんですね。設定の手順も、既存の環境にそのまま組み込めそうです。
実験モードを有効にして SDK をインストールし、API キーを環境変数に設定するだけです。ただし、実験モードにすると、SDK や API キーが準備されていない場合に、言語モデルに静かに切り替わるのではなく、エラーで止まるようになります。
静かに切り替わらないのは、設定ミスにすぐ気づけて良いですね。では、判定の種類が増える方向の話はありますか。
はい。閉じたラベルのセットから一つを選ぶ分類器も追加されました。例えば、入力が特定の拒否パターンに該当するかどうかを、yes か no といった決まったラベルで返す RefusalClassifier があります。スコアではなく、あらかじめ定めた選択肢の中から一つを選ぶ形です。
選択肢から一つ選ぶだけなら、判定のぶれはさらに減りそうです。閉じたラベルというのは、具体的にどう決まるんですか。そこがまだ掴めません。
開発者が使う側で自由に決めます。安全回答だけを返すモデルかどうかを判定する RefusalClassifier なら、yes か no の二つがラベルになります。選択肢の数は用途に合わせて変えられますが、一度決めたらその中から一つを選ぶ仕組みです。
使う側で選べるんですね。最後に、この変更は既存のユーザーにどんな影響がありますか。
既存の設定はそのまま使えます。Jev は完全に任意で、同じ判定項目と分類器の裏に控える形です。実験モードを有効にした上で SDK を導入すれば、それまでの言語モデル中心の判定から Jev 中心の判定に切り替えられます。まだ公開されていない詳細なベンチマーク結果や、他の判定モデルとの比較データについては、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-ツール・基盤