コーディングエージェントの最終工程を改善する TrialScribe、臨床試験の文書処理

論文

コーディングエージェントの最終工程を改善する TrialScribe、臨床試験の文書処理

スポンサーリンク

TrialScribeが、ローカルモデルの性能を最大 59.4 ポイント向上させ、GPT-5.6-Sol に追いついた。

この記事のポイント

  • 完全な文書を正確に構造化出力できるか不明だった
  • 150件のPDFで9モデル5ハルネスを評価
  • この手法が商用モデルに匹敵する

数字で見る

この記事に出てくる数字

ベンチマーク数 150
モデル数 9
改善幅 59.4点

どこで使えるか

構造化が信頼できるか不明だった人向け。検証ループ付きで商用モデルに追いつく TrialScribeで公開済み ローカルモデルに適用可能

スポンサーリンク

解説

かみくだいて説明します

Jiacheng Linらの研究チームが、臨床試験の設計書をデジタル化するコードを実行する人工知能の精度を調べた論文をarXivに公開しました。9つのモデルを5つのフレームワークで評価した結果、最も性能が良い人工知能でも設計書の構造化を完全にやり遂げられないことが分かりました。
臨床試験の設計書は、これまでPDFなどの読み専用の文書だったんですか?
はい。研究チームが調べた150の設計書は、専門家が直接目で追って確認する形式で書かれていました。コードを実行して必要な情報を抜き出す人工知能に渡す場合、文章の中から正確な数値や条件を探し当てる段階まではできますが、それを表やデータベースの形に書き直す最後の工程で失敗してしまう傾向が見られました。
情報を取り出すのはできるのに、表にまとめる段階でつまずくんですか。では、開発する側から見ると、この最後の工程を助ける仕組みは既に実用段階にあるんですか。
研究チームは開発者向けにTrialScribeという専用の仕組みを新たに作りました。人工知能が作業中に間違えた部分を、答え合わせのように自動でチェックする仕組みを組み込むことで、ローカルで動かせるオープンソースのモデルのスコアが、8つの評価項目で6.2-59.4ポイント向上しました。これにより、GPT-5.6-Solのような有料のモデルに並ぶか上回る結果を出せるようになりました。
ローカル環境で動かせるモデルが、有料モデルと同等の性能になるんですか。では、実務で人工知能を動かす側から見ると、この仕組みを使うのに必要な計算資源や料金は、どのくらい変わるんですか。
そこはまだ分かっていません。論文ではコストの評価項目に含めていますが、具体的な金額や必要な演算量についての数値は示されていません。
答え合わせの仕組みを回す分、処理時間や料金が増える可能性はありますね。では、研究者から見ると、この150の設計書を使った評価では、まだ解けていない課題は残っているんですか。
今回の評価は4つのタスクカテゴリーに分かれた150件の公開プロトコルPDFで行われており、根拠の在り処をどこまで辿れたかをトレースで測っています。
分野が違う設計書だと精度が変わる可能性があるんですね。では、開発する側は、このTrialScribeを他の分野の文書処理にも流用できる見込みは立っているんですか。
この仕組は臨床試験の設計書に特化して開発されているため、他の分野に流用する際はタスクごとのスキルや検証ルールの再構築が必要で、即座にそのまま使えるかどうかは現時点では不明です。
専門分野ごとに改めて設定が必要になるんですか。最後に、この仕組みが実務で使われるまでの見通しは、どうなっていますか。
実務での活用については、専門分野ごとに改めて設定が必要になるんですか。最後に、この仕組みが実務で使われるまでの見通しは、どうなっていますか。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文