HCOEが臨床予測タスクでトップクラスの精度を出した
この記事のポイント
- 言語モデルはコードの階層を保たない
- Poincare球で階層対比学習と経路集約
- ICD・ATC予測が最高。MIMIC-IVでも上位
数字で見る
この記事に出てくる数字
| データセット | MIMIC-IV |
|---|
どこで使えるか
臨床コードの階層構造を活かしたい人向け。モデルを選ばず凍結埋め込みから変換可能 arXivで公開済み BioBERTの重みが必要
スポンサーリンク
解説
かみくだいて説明します
生体医学の言語モデルって、テキストの意味は理解できても、医学コードの階層構造まではちゃんと保持できていないんですよね?
確かにその通りです。従来の埋め込み手法では、疾患コードや薬剤コードの親子関係が埋もれてしまい、臨床推論の精度に限界が出ていました。
確かに、既存の手法では疾患コードや薬剤コードの階層構造を明示的に保持できていないんですよね。
その通りです。コード間の構造的な距離を反映する手法が求められていた中で、HCOEはPoincare球への写像と階層構造を活用した手法として提案されました。
そこでarXivで公開されたHCOEという手法が、階層を明示的に保持する臨床概念表現を実現しました。
そのアプローチって、具体的にはどういう仕組みなんですか?
凍結したBioBERTの埋め込みをポアンカレ球という双曲幾何空間に写像し、親側と子側のOntology誘導 Contrastive Learningを組み合わせています。Coarse-to-fineなOntology-path Aggregationで階層パスを粗く細かく集約する仕組みです。
双曲空間に放り込むだけで階層が自然に保たれるなんて、確かに理にかなっていますね!
計算グラフの同期コストは増えますが、メモリ配置は従来のCPUとGPUの共有メモリで賄える設計になっています。
改善効果は具体的にどの程度あるんですか?
従来手法を大きく上回り、ICDやATCの臨床関係予測、CCSからPheCodeへの階層転移で最良の精度を記録しています。MIMIC-IVデータセットでは、死亡率予測、再入院予測、薬剤推奨、希少薬予測の全タスクでトップパフォーマンスを示しました。
MIMIC-IVでは死亡率予測や薬剤推奨などでもトップでしたか?
階層構造を幾何空間に組み込んだ効果が、多様な臨床タスクで明確に発揮された結果です。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。しかし、HCOEはICDコードをCCSやATCの階層で整理し、階層対応の臨床概念表現を実現しています。
私、実際の試し方はどうすればいいんですか?
GitHubで公開コードが入手可能です。BioBERTの重みを凍結した状態でOntologyパスを定義するだけで実験できますので、ぜひ試してみてください。
MIMIC-IVでは死亡率予測や再入院予測、投薬推薦で最良の結果を出しています。
MIMIC-IVでは死亡率予測や再入院予測、投薬推薦、希少薬予測でも最良の結果を出しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。