DeBERTaは遺伝子と病気の関連抽出で最高性能に迫る。Gemini Pro 1.0 は文レベルと要約レベルで最高性能を超えた。
この記事のポイント
- 遺伝変異と表現型の関連抽出
- DeBERTaとGemini Pro 1.0を微調整
- GeminiがSOTAを更新、DeBERTaは追いつく
どこで使えるか
遺伝子と病気の関連を抽出するシステムを作りたい人向け。専門用語の自動処理に強い。 論文の公開は記載なし 評価結果のみの提示
スポンサーリンク
解説
かみくだいて説明します
Claudiu Creanga さん、Liviu P. Dinu さん、Daniela Gifu さんの研究チームが arXiv に論文を発表しました。遺伝子の配列データから疾病との関係を読み取るための、機械学習のモデルを公開したものです。
遺伝子と病気の関係を自動で探すんですね。文章から関係を読み取るというのは、具体的にどうやるんですか。
文章の中に書かれている遺伝子の変異と、それに伴う症状や病気を結びつける作業です。新聞の記事で例えると、誰が誰の誰と会ったかを書き出す作業に近いです。
書き出す作業ですね。どのくらいの大きさのモデルで動いているんですか。
今回試したのは、BERT という名前の小さな言語モデルと、Google が開発した Gemini Pro 1.0 です。BERT をさらに細かく改良した DeBERTa というモデルも使っています。
二つのモデルで同じデータを使ったんですね。
比べたというより、同じデータで動かした結果です。SNPPhenA というデータセットで評価したところ、DeBERTa は既存の最高水準に近づき、Gemini Pro 1.0 は文章全体を読む抽象レベルのタスクでも、一文だけを読む文レベルのタスクでも最高水準を更新しました。
最高水準を更新したというのは、具体的な数値が知りたいですね。
具体的な数値の差は論文に明記されていません。そこはまだ分かっていません。ただし、Gemini Pro 1.0 が上回ったことは確かです。
一文だけ読むのと、文章全体を読むのとで、同じモデルが使えるんですね。
使えます。タスクに合わせて入力する文章の長さを変えるだけで、同じモデルが対応します。研究者が手作業で一つずつ読み解いていた部分を、機械が自動的に処理できるようになったということです。
研究者の手作業を減らす方向ですね。
モデルの公開はされていますが、実際に動かすのに必要な計算資源や環境の整備については、論文からはまだ詳細が示されていません。
最後に、このモデルが実際に論文の自動処理に組み込まれるのは、いつ頃になりそうですか。
論文からは具体的な日程の予定は示されていません。まずは研究者の間で検証が進み、実用化に向けた議論が本格化する段階です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。