KnowBenchが公開。臨床 AI の負担削減を測る指標と評価プロトコルが示された。
この記事のポイント
- 研究用指標は成果の類似度しか測らなかった
- 臨床作業の負担軽減を測る指標を提案した
- 専門分野ごとの数値差がある
どこで使えるか
臨床AIの負担削減を評価したい人向け。承認率ベースの指標で実運用に近い評価が可能 論文の記載なし Knowtexの独自モデルのため公開不可
スポンサーリンク
解説
かみくだいて説明します
Jocelyn Kangらの研究チームが、2026年9月15日にarXivで医療現場のAIシステムを評価する新しい指標「KnowBench」を公開しました。その指標はEffort Reduction、つまり医師がAIの出力をそのまま承認する割合を測るものです。
医師がチェックしてOKを出した分だけをAIの成果と数えるんですね。では、作る技術者から見ると、これまでの評価とどこが根本的に違うんですか。
従来はAIが参考資料にどれだけ似ているかや専門家の採点で測っていましたが、KnowBenchは実際の業務負担がどれだけ減ったかを数値化します。まるで料理の試食のように、AIが出した答えを医師が実際に確認して、そのまま使えれば完成、間違っていれば手直しが必要という仕組みです。診察メモや診断コード、処方箋、カルテの要約など、AIが自動化する業務一つひとつに同じ基準を適用し、医師が訂正した部分も全て残務として計上します。
訂正した部分も全て残務として数えるんですね。
そうです。その上で、6つの業務項目で実務データを計測した結果をお伝えします。13の診療科で100万件以上の診察記録を使い、6ヶ月以上の実務データで測定したところ、Knowtexが独自に微調整した臨床用AIモデルで、全体の承認率は97.99%でした。診療科別の集計では96.8から98.9%でした。
97.99%、つまり医師が手直しする割合はおよそ1%未満ですね。では、AIを使う側から見ると、この数値が実務に届くにはまだ何が足りないんですか。
指標の仕組みと報告手順のチェックリストは一部公開されていますが、補完する統計データの一部は非公開のままです。システム間の比較や監査を可能にするため、この基準で評価できるように公開しています。
補完する統計は非公開のままなんですね。では、作る技術者から見ると、この指標を使って他社のAIと比べるには何が要りますか。
要旨にはチェックリストを部分的に報告しているとあります。公開されている手順の一部に基づいて、他システムとの比較が可能になるということです。
手順の一部しか示されていないんですね。
現在対象としているのは診察メモ、診断・請求コード、指示、カルテ要約、受診後サマリー、臨床判断支援の6つです。それ以外の業務や、緊急時など特殊な状況での負担軽減までは測定対象になっていません。
最後に、今後の展開で何がまだ分からないんですか。
公開範囲をどこまで広げるか、そして他のAIベンダーが同じ手順で計測した結果をいつ受け取るかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。