モデル更新後の性能劣化をラベルなしで証明する手法、推論コストを抑える話

論文

モデル更新後の性能劣化をラベルなしで証明する手法、推論コストを抑える話

スポンサーリンク

DISCERNが、56% の更新をラベルなしで劣化なしを証明。

この記事のポイント

  • 更新モデルの品質劣化リスクを formalize
  • この手法でラベル不要の benign 判定
  • 785 組の更新ペアで検証

数字で見る

この記事に出てくる数字

モデル規模 1.4B
誤被覆率 0.0002
検出力 0.986

どこで使えるか

更新モデルの品質保証を自前で組む人向け。ラベルコストを削減したい人向け。 コードの公開は記載なし 1.4B以下の言語モデル実験結果

スポンサーリンク

解説

かみくだいて説明します

arXivのVishnu Bindu Balachandran氏らが、AIモデルの更新が以前より悪化しないことを証明するDISCERNという手法を発表しました。モデルの更新には再学習やファインチューニングなどがありますが、更新ごとに性能が下がるリスクがあるため、この手法では2つの段階で審査を行います。
更新のたびに性能が下がるリスクがあるんですか。2つの段階で審査するというのは、どういう仕組みですか。
はい。これまではモデルを全部比較する必要がありましたが、DISCERNでは2つのモデルが答えを間違えた部分だけに着目します。例えばテストの答え合わせで、全問を採点する代わりに意見が違った問題だけチェックするイメージです。これだけで更新が安全かどうかを数学的に保証できます。
意見が違った部分だけチェックするんですね。現場で組み込む技術者から見ると、これは今使われているやり方を置き換える話ですか。
置き換えるというより、追加で使うツールです。ラベルなしのデータだけで審査できる段階と、必要に応じて答えにラベルを付ける段階の2つに分かれています。ラベルを付ける際は、いつでも結果を出せる信頼区間を使うため、審査を途中で止めても数学的に正しいままです。
途中で止めても正しいというのは安心ですね。実際にどれくらいの規模で試したんですか。
785組のモデル更新ペアで、14,000 回以上の審査データを再現しました。対象には最大1.4Bパラメータの言語モデルのファインチューニングも含んでいます。結果として、本来安全な更新のおよそ56%がラベルなしで合格し、誤って安全と判定する率は0.0002でした。
56%がラベルなしで済むのは大きいですね。残りの部分はどうなるんですか。
残りはラベルを付ける段階に進みます。そこでは答えが違った入力だけ sampled して審査するため、従来の方法と比べて必要なラベル数が 1/rho だけ減らせます。この関係が理論的に証明されています。
1/rho だけ減らせるというのは、どれくらい違うんですか。複雑さが変わると、急にラベルが必要になるんですか。
1/rho だけ減らせるというのは、複雑さが 2 倍になれば必要なラベルが半分になるという意味です。例えば 100 問のテストで意見が分かれたのが 10 問なら、その 10 問だけ見れば十分で、残りの 90 問は飛ばせる計算です。
飛ばせる部分が大きいんですね。最後に、この手法はこれからどう使われていきますか。
審査ごとに機械が確認できる証拠を出力するため、市場に出た後の監視にも使えます。実際の実験では、偽陽性ゼロで検出力0.986を達成し、56%の良性更新がラベルなしで認証されました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文