CRESSが、3〜4 カテゴリで閾値証明が不可能な境界を示した。
この記事のポイント
- unseenカテゴリの閾値保証が不明
- 15カテゴリでLOIO補正とCRESS法を測る
- 95%上限に最低14カテゴリ必要
どこで使えるか
低FARの閾値証明を組む人向け。α=0.20で14、0.10で29、0.05で59カテゴリの確保が要る arXivで論文公開済み コード公開の記載なし。数値は理論値と実験結果
スポンサーリンク
解説
かみくだいて説明します
Gia Huy Thai さんと Nguyen Thai Anh さんが arXiv に論文を発表しました。見慣れないカテゴリの異常検出で、警報閾値を数学的に保証するには、目標の偽警報率 0.20 なら 14 個、0.10 なら 29 個、0.05 なら 59 個のカテゴリデータが最低限必要だと示しました。
14 個から 59 個、目標で必要数が変わるんですか?
少ない画像数だけではカテゴリごとのばらつきを拾いきれないからです。ここでは偽警報率を一定以下に抑える目標値を設定し、その目標を必ず下回ることを数学的に保証する上限信頼区間を計算しています。例えば試験の合格基準を決める際に、出題傾向の偏りを防ぐために複数回の模擬試験の平均点を使うのと似ています。
模擬試験で偏りを防ぐ、ですね。実際に組み込む側からすると、手元で動かせる目安になるんですか。
手元で動かすにはさらに条件が要ります。論文では必要条件であって十分条件ではないと明記しており、実際に運用する際にはデータ不足で安全側である 0 を返す失敗閉鎖の判定になるケースが 960 通りの設定で確認されています。
960 通り全てが 0 になるのは厳しいですね。CRESS はどう役割を分けるんですか。
既存の手法は参考データを一括で使いますが、CRESS はカテゴリを参照用、提案用、検証用の 3 つに役割で分けます。全部を一度に試すのではなく、料理の味見を下味用、本番用、最終確認用に別けて評価するのと似ています。
役割で分ける、ですね。3 個や 4 個だと閾値が 0 になるんですか。
検証用カテゴリが 3 個から 4 個しかない場合、データが少なすぎて信頼できる閾値が立てられなかったため、安全側である 0 を返す失敗閉鎖の判定になったのです。信頼区間の下限値が 0.950 になるのは、データ不足で上限しか見積もれない状態を意味します。
上限しか見積もれない、ですね。画像数で評価するとどう変わるんですか。
画像数で評価した場合は、ターゲットセルの 36.7 から 60.3 で正の閾値を選べたことになります。ただしこれは特定のソース混合データに限定された結果であり、新しいカテゴリが来たときのリスクまで保証するものではありません。
限定されるのは実用面で気になりますね。最後に残っている課題は何ですか。
定量可能な実現可能性の境界と、転移可能な信頼性主張を支援できる時期とできない時期を指定するプロトコルが貢献です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。