Basztaは同じ閾値調整下で micro F1 がわずかに上回る
この記事のポイント
- マクロF1差は調整の有無の artifact
- 5カテゴリでFocal+R-Dropで学習
- 温度スケーリングが有効だが条件あり
数字で見る
この記事に出てくる数字
| モデルパラメータ | 124M |
|---|---|
| 犯罪正例比率 | 97% |
| 退化戦略のF1 | 0.910 |
どこで使えるか
Polish 安全分類器を自前で組む人向け。温度スケーリングの条件付き有効性を見誤らない arXivで論文公開済み モデル重みの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
多ラベルのコンテンツ安全分類器って、実務で結構苦労するんですよね?
その通りです。Gadzi Językベンチマークは犯罪ポジティブが97%で、犯罪ラベルだけ常に予測する退化戦略でもマイクロF1は0.910に達します。
既存の手法だと、訓練データ外のデータで急に精度が落ちたりしませんか?
その通りで、訓練精度を上げても分布外テストでは確率補正が崩れ、信頼できる判定ができなくなるケースが増えます。
arXivで公開されたのは、herbert-base-casedをFocal損失とR-Dropでファインチューニングしたモデルで、Gadzi JęzykベンチマークでBielik Guardと厳密に比較しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
誤分類ペナルティを強調するFocal損失と出力揺らぎを抑制するR-Dropを組み合わせ、確率出力の信頼性を直接鍛えつつ、カテゴリごとの温度スケール補正で分布外確率を回復させています。
確率出力の信頼性を鍛えるんですか!カテゴリごとの温度スケール補正で分布外確率を回復させています。
改善効果の数値はどれくらい出るんですか?
124MパラメータのモデルでマイクロF1は有意に向上しますが、テストセットの97%が犯罪正解のため、犯罪だけ常に予測するナイーブな戦略でも0.910のマイクロF1が出てしまいます。
0.910が壁だとすると、マイクロF1は意味がないってことですか?
正確にはマイクロF1では両モデルの差が測れず、真の性能差はマクロF1で評価する必要があります。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
仰る通りです。補正用データに安全テキストが極端に少ないと、しきい値調整が犯罪一辺倒になり、逆攻撃時の検出率が下がる制約は残ります。
実際の試し方はどうすればいいんですか?
モデルの温度スケール補正は、Calibrationセットに安全テキストが含まれる場合に限り効果を発揮します。
モデルの温度スケール補正は、Calibrationセットに安全テキストが含まれる場合に限り効果を発揮します。
安全テキストの欠如が閾値調整に与える影響を、両方の運用点を報告することで可視化しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。