CRISSが、がん登録の質問に対し根拠付き回答を生成。難易度が高いほど RAG の優位性が顕著に。
この記事のポイント
- RAGなしは根拠が伴わなかった
- GeminiとGPT族でRAGを評価
- RAGが優位。ただし難問はローカル
どこで使えるか
がん登録業務で根拠付き回答が必要な人向け。難問ではローカルモデルが有効 論文の公開のみ。コード非公開 評価はLLM-as-a-Judge。実装は未公開
スポンサーリンク
解説
かみくだいて説明します
がん登録業務って、国が頻繁に更新する複雑なコーディング基準を常に追いかけていないといけないんですよね?
確かにその通りです。最新の基準を正確に解釈しながら最終的な情報抽出を担う専門職は、膨大な知識量という重圧を抱えています。
既存の検索システムやマニュアル照合だと、どうしても対応が間に合わない場面があるんですか?
その通りです。専門用語が膨大で更新頻度が高いため、手動での照合では時間がかかりすぎて、現場のボトルネックになりがちです。
そこでarXivに公開されたCRISSという、RAG方式の会話型AIアシスタントが注目されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
国家がん登録基準からメタデータ付きのセクションを抽出し、密度ベクトルでインデックス化しています。ユーザーの質問に対して関連する条文を取得し、LLMが引用を添えて回答を生成する仕組みです。まるでデジタル百科事典の索引のように、必要な条文だけ瞬時に引き出すイメージです。
条文を事前にベクトル化して、必要な部分だけピックアップするんですね!
正確です。取得した条文をコンテキストとして与えるため、回答の根拠が明確になります。
実際の精度はどのくらい改善されたんですか?
質問の難易度別に評価したところ、RAGモデルの平均グラウンディングスコアは易/中/難でそれぞれ0.62/0.56/0.59を記録しました。一方、RAGを使わないモデルは0.29/0.26/0.29にとどまっています。
難問になればなるほど差が開くのは大きいですね!
その通りです。商用RAGモデルは易中級で強く、ローカルモデルは難問で最高スコアをマークしました。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その指摘は正しいです。最終的なコーディング判断は人間の専門家が責任を持つ設計であり、AIはあくまで補助ツールに留まります。
実際の現場で試すにはどうすればいいんですか?
要旨にCRISSがRAG方式の会話型アシスタントとして開発され、がん登録基準から構築されたナレッジベースを用いて引用付き回答を生成するシステムであると記載されています。
現在は単一ドメインでの検証ですが、専門職の意思決定を支援するAIの在り方を示す重要な一歩です。
最終的なコード決定については人間の監督を維持しつつ、支援できる可能性を示していますね。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。