E-CoTSが ImageNet 系で信頼度誤差を 11.90% から 5.38% に減らし、精度も上げた
この記事のポイント
- TPTは精度向上と並行して較正性能が低下する
- 温度スケーリングで適応前とゼロショットの差を縮小
- 複数増強の弱強アンサンブルで精度をさらに向上
どこで使えるか
TPTで精度と較正のトレードオフに悩む人向け。追加学習不要で既存手法と併用可能 論文に記載あり。コード公開の記載なし ImageNet variantsでの評価結果
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Yuwei Liangらの研究チームが、2026年9月16日付でarXivに、テスト時に一つ一つのデータに合わせてモデルを調整する手法の信頼度を修正するCoTSを発表しました。精度が上がっても信頼度が狂いやすかった問題を、ゼロショット予測との差を小さくするだけで精度を落とさずに修正し、ImageNetのデータセットで平均の誤差を11.90%から5.38%に下げ、精度を60.74%から62.95%に上げる結果を出しています。
精度と信頼度を同時に上げているのが興味深いですね。研究している人から見ると、これまで何ができていなかったんですか。
従来は信頼度を整えるために追加の制約を付け足す手法が使われていて、それが精度を下げることが多かったんです。温度調整というのは、熱湯と冷水を混ぜてちょうどいい温度にするように、モデルが出す自信の数値を上下に動かして、実際の正解率に合わせ直す作業です。
熱湯と冷水を混ぜるんですね。追加のリソースが要らないなら導入は楽そうです。では、複数のデータを使って調整する弱強アンサンブルは、どう精度を上げるんですか。
複数のデータを少し違う形に加工して予測させ、その結果をまとめます。例えば同じ風景写真を少し明るくしたり暗くしたりして何回も見てもらうように、モデルが一つの画像だけに見慣れるのを防ぎ、より正確な判断ができるようになります。
いくつかの視点で見てもらうんですね。では、この手法は既存の信頼度修正手法と別に使うんですか、それとも一緒に使えますか。
一緒に使えます。CoTSやE-CoTSを従来手法と組み合わせると、精度と信頼度の両方がさらに上がる傾向が実験で確認されています。別の手法の効果を損なうことなく、上乗せで修正できる形です。
上乗せで使えるなら既存の研究でも取り入れやすそうです。では、モデルが出力する数値の差を計算するだけで温度を決められるのは、なぜ正確に修正できるんですか。
温度スケーリングで、モデルの調整前と調整後の確信度差を最小化するように数値を整えるからです。調整前の予測と調整後の予測の差を小さくすることで、修正の精度を上げられます。
差の大きさで強弱を付けるんですね。最後に、どのくらいのデータ数で測った結果ですか。
具体的なデータ数や実験環境の詳細は、そこはまだ分かっていません。ただ、多様なデータセットとバックボーンで実験を行い、一貫して誤差が下がっていることは確認されています。
詳細な条件はこれから明かされるというわけですね。公開の有無や、現場で使う技術者への具体的な手順は、まだ聞けていません。
そうです。論文の要旨には、他のデータセットでの数値や実験の詳細な条件について、公開される見込みであるという記述はありません。追加でデータを公開するかどうかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。