精神科の会話でLLMの安全性を評価する K-Bench、14社の33モデルを比較

論文

精神科の会話でLLMの安全性を評価する K-Bench、14社の33モデルを比較

スポンサーリンク

K-Benchが14社の33モデルを比較。安全性に大きな差があることが分かった

この記事のポイント

  • 200例で14社33模型を評価
  • GPT-4o判定器は94.2%一致
  • 151件評価付き6751件対象

数字で見る

この記事に出てくる数字

モデル構成数 125
ベースモデル数 33
判定一致率 94.2%

どこで使えるか

精神保健のAI活用で安全性を担保したい人向け。臨床家判定と94%一致する判定器で評価可能。 www.k-bench.aiで公開済み テスト素材は直接最適化不可

スポンサーリンク

解説

かみくだいて説明します

Laura M. Vowelsらの研究チームが2026年9月15日に公開した、精神保健のリスクが高い会話を評価するためのベンチマーク、K-Benchです。14社から33種類のモデル、合わせて125の構成を200のシナリオでテストし、主要なモデルはリスク評価のスコアが95を超えたとしています。
200のシナリオというのは、実際に相談に乗る人と同じような会話データってことですか。専門家が見た結果と、AIが判断した内容がどれくらい一致したんですか。
一致率は94.2パーセントです。評価にはGPT-4oという別のAIを判定役に使いました。専門用語でJudgeモデルと言いますが、人間の臨床医の判断を模倣する採点係として機能させたということです。
そこがまだ掴めません。採点係が人間の判断を真似るだけで、実際の相談相手とは違うんじゃないんですか。
確かに会話相手ではありません。Judgeモデルは答え合わせの採点板のようなものです。臨床医が151本の会話から6,751項目を評価した結果と、AIが出した回答を照らし合わせて、正確さを測る仕組みです。
重い話題も含まれているなら、弱いモデルほど回答が偏らないか気になります。
その通りで、リスクを掘り下げる場面では下位モデルの差がはっきり出ました。治療的なプロンプトを与えると弱いモデルに改善が見られましたが、推論を強化する指示では平均して向上しなかったということです。
推論を強化しても伸びないなら、組み込む技術者から見るとどの部分が役に立つんですか。
支援的な会話の質とリスク検出の両立が鍵になります。K-Benchは結果を公開しているリーダーボードがあり、www.k-bench.aiで最新の順位が見られます。テスト素材は直接最適化できないよう保護されています。
素材が守られているなら、開発者は実力だけで順位を争えますね。まだ解けていない課題として、今後追加される予定のシナリオはあるんですか。
シナリオの追加については現時点で具体的な計画は示されていませんが、ベンチマークは継続的に更新され、公開リーダーボードを通じて評価が進められています。
では、実際のサービスに組み込む技術者から見ると、このベンチマークのスコアだけで安全だと判断していいんですか。
ベンチマークは開発時の目安になりますが、現場での運用には追加の監視が必要です。具体的な運用基準については、そこはまだ分かっていません。
その水準については、K-Benchの公開リーダーボードで継続的に評価が進められています。
K-Benchの公開リーダーボードで、その水準は継続的に更新されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文