Fresco-Fragment 分類の ViT が、欠片の形状を補正し背景ノイズを抑制して精度を上げた。
この記事のポイント
- 欠片だけの壁画の分類は難しかった
- 前景マスクと対比学習で精度を上げた
- 単純な組み合わせが最も良い
どこで使えるか
欠片の壁画を分類したい人向け。背景ノイズを抑制し形状を補正する 論文コードの公開は記載なし CLEOPATRA/POMPAAFデータセット使用
スポンサーリンク
解説
かみくだいて説明します
壊れた壁画のかけらから美術様式を分類するなんて、現実は厳しいんですか?
確かに現場は厳しいです。考古学では作品が欠損した状態で発見されるため、従来の完全な絵画を前提としたモデルでは認識が困難になります。
だとすると、標準的なViTでも欠片対応できないんですか?
欠片の形は不規則で背景ノイズも混ざるため、標準ViTはパッチグリッドとズレが生じ、認識精度が頭打ちになります。
そこで本研究では、欠片に特化したプログレッシブTransformerフレームワークをarXivで公開しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
前景誘導マスキングで背景トークンを抑制し、インペインティングによる幾何正則化で欠片形状をViTパッチグリッドに整列させます。さらに予測分布同士をKL類似度で比較する教師付き対比目的関数で各ブランチの認識を鋭くし、学習可能なロジットアンサンブルで結合します。
背景を消して形を揃え、分布同士で教え合うんですね!
同期はバッチ単位で完結し、メモリ配置は既存ViTの延長線上に収まる設計です。
改善効果はどの程度出るんですか?
CLEOPATRAデータセットで精度を0.604から0.656に、macro-F1を0.596から0.648に引き上げました。
単一ブランチや従来の手法と比べたらどうなるんですか?
POMPAAFデータセットの6分割のうち4設定で最良単一ブランチを上回り、欠片対応型の設計が明確に効いた結果です。
でも、特定の欠片形式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。インペインティング補完領域が合成情報に依存する側面や、複雑なグラフ融合変種が実益に見合わない設計コストは素直に認めなければなりません。
実際の試し方はどうすればいいんですか?
実験はCLEOPATRAとPOMPAAFのデータセットで進められ、単純なロジットアンサンブルが最良の結果をもたらしました。
分布レベルの対比学習が各ブランチの認識を consistently 向上させます。
欠片から歴史を読み解くAIの未来が広がりますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。