Masked Swingersが、MAE を上回る転移性能を出した。
この記事のポイント
- MAEは単一視点だけを使って学習する
- 画像を2通りに変換しCLSを交換
- ImageNet-1K kNNで+3-5%向上
数字で見る
この記事に出てくる数字
| ImageNet kNN | +3-5% |
|---|---|
| Omniglot | +76% |
どこで使えるか
MAEの視点依存を解消したい人向け。2視点でCLSトークンを交換するだけで転用性が上がる arXivで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Anthony FullerらがarXivに発表した論文で、画像を二つの方法で変形して処理する「Masked Swingers」という手法が開発されました。従来の手法を改良し、ImageNet-1Kで+3-5%、細かな識別タスクでは最大+76%の向上を確認しました。
画像を二つ変形して処理するんですか。作る側からすると、既存のモデルに組み込むのは難しい話ですか。
組み込み自体は難しくはありません。従来の手法が画像の一部を隠して復元する仕組みに対して、今回は画像を二つの条件で変えてから隠す部分を分け、隠された部分の情報を交換し合うことで、画像の全体像を捉える力を高める設計になっています。例えば、地図の半分を隠して残りで全体を推測する作業を、二つの異なる条件でそれぞれ行い、隠された部分の情報を交換し合うことで、より正確に全体を把握する仕組みです。
全体像を捉える力ですか。研究する側から見ると、どこが新しいんですか。
2つの画像を用意して情報を共有することで、画像のviewに依存しない表現を学び、効率的な転用が可能になります。これにより、ImageNet-1K kNNで+3-5%の向上が期待できます。
なるほど。転用が効率的になるのは確かに助かりますが、実際どれくらい精度が上がったんですか。
ImageNet-1KのkNN評価では+3-5%の向上です。細かな識別タスクではインスタンス検索で+45%、動物の個人識別で+22%、文字認識で+76%の向上を確認しました。
+76%は大きな差ですね。では、この手法が世界モデルの開発にどう関わってくるんですか。
3つの新しい状態推定用データセットで誤差が64%減ったのは、環境の状態を捉える力が上がった結果で、世界モデルづくりにつながる手がかりだとみている。
環境を予測するAIの基盤になるんですか。最後に、実用化はまだ先ですか。
論文では実験段階の結果を発表しており、実用化の日程や具体的な製品への組み込み時期についてはそこはまだ分かっていません。今後の研究の進展を見守る必要があります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。