allegro/herbert-base-cased を Polish 安全分類器に微調整する Baszta、データ中心手法と評価

論文

allegro/herbert-base-cased を Polish 安全分類器に微調整する Baszta、データ中心手法と評価

スポンサーリンク

Basztaは同じ閾値調整下で micro F1 がわずかに上回る

この記事のポイント

  • マクロF1差は調整の有無の artifact
  • 5カテゴリでFocal+R-Dropで学習
  • 温度スケーリングが有効だが条件あり

数字で見る

この記事に出てくる数字

モデルパラメータ 124M
犯罪正例比率 97%
退化戦略のF1 0.910

どこで使えるか

Polish 安全分類器を自前で組む人向け。温度スケーリングの条件付き有効性を見誤らない arXivで論文公開済み モデル重みの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

多ラベルのコンテンツ安全分類器って、実務で結構苦労するんですよね?
その通りです。Gadzi Językベンチマークは犯罪ポジティブが97%で、犯罪ラベルだけ常に予測する退化戦略でもマイクロF1は0.910に達します。
既存の手法だと、訓練データ外のデータで急に精度が落ちたりしませんか?
その通りで、訓練精度を上げても分布外テストでは確率補正が崩れ、信頼できる判定ができなくなるケースが増えます。
arXivで公開されたのは、herbert-base-casedをFocal損失とR-Dropでファインチューニングしたモデルで、Gadzi JęzykベンチマークでBielik Guardと厳密に比較しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
誤分類ペナルティを強調するFocal損失と出力揺らぎを抑制するR-Dropを組み合わせ、確率出力の信頼性を直接鍛えつつ、カテゴリごとの温度スケール補正で分布外確率を回復させています。
確率出力の信頼性を鍛えるんですか!カテゴリごとの温度スケール補正で分布外確率を回復させています。
改善効果の数値はどれくらい出るんですか?
124MパラメータのモデルでマイクロF1は有意に向上しますが、テストセットの97%が犯罪正解のため、犯罪だけ常に予測するナイーブな戦略でも0.910のマイクロF1が出てしまいます。
0.910が壁だとすると、マイクロF1は意味がないってことですか?
正確にはマイクロF1では両モデルの差が測れず、真の性能差はマクロF1で評価する必要があります。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
仰る通りです。補正用データに安全テキストが極端に少ないと、しきい値調整が犯罪一辺倒になり、逆攻撃時の検出率が下がる制約は残ります。
実際の試し方はどうすればいいんですか?
モデルの温度スケール補正は、Calibrationセットに安全テキストが含まれる場合に限り効果を発揮します。
モデルの温度スケール補正は、Calibrationセットに安全テキストが含まれる場合に限り効果を発揮します。
安全テキストの欠如が閾値調整に与える影響を、両方の運用点を報告することで可視化しています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文