分子の性質を予測するモデルの手順データ事前学習、データ不足時の精度改善の話

論文

分子の性質を予測するモデルの手順データ事前学習、データ不足時の精度改善の話

スポンサーリンク

Procedural Pretrainingが、データ不足時の分子性質予測精度を向上させた。

この記事のポイント

  • ラベル付きデータ不足が課題
  • 抽象的な生成データで事前学習
  • 効果は中間の学習量で頭打ち

数字で見る

この記事に出てくる数字

学習データ数 250K分子

どこで使えるか

データ不足時の分子性質予測を強化したい人向け。学習データが限られる環境で有効。 arXivで公開済み 100M分子のMoLFormerと比較対象

スポンサーリンク

解説

かみくだいて説明します

arXivにMoritz Friedemann, Zachary Shinnick, Philip Torr, Bruno Andreisらの論文が発表されました。分子の性質を予測するAIを、分子データに触れる前に、手順を並べただけの抽象的なデータで訓練する手法を提案しています。
分子データにまだ触れていない段階で、手順だけのデータを使うんですか。訓練する側から見ると、実際に分子を扱うモデルと比べて、どこに意味があるんですか。
はい。この研究では、文字の並びの構造を扱うタスクや、セル・オートマトン、グラフの推論といった手順生成のタスクを事前に学習させています。そのあとにSMILESという分子の書き方を扱うデータで学習を続け、最後に目的の性質を予測する段階に入ります。
手順だけの訓練が、その後の分子の学習に直接効くということですね。効果はどのくらい出るんですか。
脂溶性を表すLipophilicityのデータで検証したところ、Reverseという手順タスクでテスト誤差を4.8%削減できました。この数値は、250Kの分子データで学習したモデルと、およそ100Mの分子で事前訓練されたMoLFormerのチェックポイントとの差のおよそ90%に相当します。
250Kのモデルと100Mのモデルの差の90%を、分子データ以前の手順訓練だけで埋められるんですか。手順訓練の量を増やすほど、効果は大きくなるんですか。
必ずしも増やすほど良くなるわけではありません。手順訓練の量を増やしていくと、ある中間地点で効果がピークに達し、その先でモデルが手順タスクに慣れすぎると逆効果になる傾向が見られました。
慣れすぎると逆効果になるんですか。なぜそうなるのか、もう少し分かりやすく言うとどうなるんですか。
手順タスクの答えを暗記してしまうと、本来学ぶべき構造の法則が見えなくなるためです。分子の学習では、手順データが持つ抽象的な法則だけを運びたいのに、手順タスクの表面の統計だけを取り込んでしまうと、それが邪魔になる形になります。
手順訓練の量には適正があるということですね。では、モデルのどの部分がその情報を運んでいるんですか。
情報を運ぶのは主にattention層です。一方、feed-forward層は過剰に特定のルールに特化しすぎて、かえって汎用性を損なう傾向がありました。
attention層とfeed-forward層の違いを、もう少し噛み砕いて説明してもらえますか。
attention層は入力された情報を全体から選んで注目する部分で、feed-forward層は入力を段階的に変換して出力する部分です。手順訓練で得た情報は、注目して選り分ける部分に留まる方が、分子の学習に移行しやすかったということです。
注目して選り分ける部分に情報が残る方が、次の段階への移行に適しているんですね。最後に、この手法は実際に分子データを扱う現場でどのくらい使える見込みですか。
分子データが少ない環境ほど効果が大きいため、ラベル付きデータが限られる分野では有力な補完手段になります。ただし、手順タスクの選び方や訓練量の調整は、目的に応じて試行が必要で、どこまで自動化できるかはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文