ViTokが、認識とセマンティクスの両立で83.2のkNN精度とADE20Kで教師級のパフォーマンスを達成した。
この記事のポイント
- 同一レシピが全目的を最適化できず
- CLSとパッチ用アダプタを分離しMIMを追加
- 2と85.2のkNNで教師を上回るも大規模データでは不確実
数字で見る
この記事に出てくる数字
| patch kNN | 83.2 |
|---|---|
| CLS kNN | 85.2 |
| ADE20K mIoU | 48.5 |
どこで使えるか
認識とセマンティクスの両立を自前で組む人向け。レシピの教訓が得られる arXivで公開済み ImageNet-1KとADE20Kの評価結果を記載
スポンサーリンク
解説
かみくだいて説明します
Hailun Xu, Kanchan Sarkar らが arXiv に発表した ViTok の研究では、画像認識モデルの学習手法を整理し、ImageNet-1K の kNN 分類で 83.2 のパッチ精度と 85.2 の CLS 精度を達成しました。これは DINOv3-L という教師モデルを上回る数字です。ADE20K のセグメンテーション精度も PHI-S という手法で 46.5 と 58.1 から 48.5 と 61.0 に回復させています。
画像全体の分類と細かい部分の認識を同時に鍛える技術だったんですね。研究している人から見ると、どこが難しいんですか?
画像全体としての分類と、画像の中の細かい部分の認識を同時に鍛えるとき、片方を上げるともう片方が下がってしまう現象です。大きな地図で国境を引く作業と、その中の建物の名前を一つ一つ書き込む作業を同時にやると、どちらかに集中しないとミスが増えるのと同じです。
なるほど、両立が難しいんですか。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、モデルが一つの画像を見たときに、全体として何が写っているかを見る目と、どこに何があるかを見る目を別々のパスで鍛える必要があるということです。これまで同じパスで鍛えていたため、精度のトレードオフが起きていました。
別々のパスで鍛えることでバランスが取れたんですね。では、追加の教師モデルを加えると干渉が起きるという話もありましたが、現場の技術者から見るとどこが難しいんですか?
教師モデルに SAM3 や HOG の特徴を追加で混ぜると、かえって学習が乱れる可能性があります。データセットを ImageNet-1K から ImageNet22K に増やした際も、必ずしも精度が向上するとは限らないことが分かっています。
確かに、増やすほど良くなるとは限らないんですね。では、この手法は既に実用段階にあるんですか。
現時点では最終的なレシピを主張するものではなく、現在のプロジェクトの状態をまとめた実証的な報告です。今後の改善に向けた具体的な教訓を提示している段階です。
なるほど、引き続き結果を見守りますね。
追加教師を単純に足すと干渉が起きることがわかったり、大規模データへの拡張が一貫して役立ったわけではないなど、実用的な教訓が得られました。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。