深層スタックの相関と較正を同時に改善するメタラーニング CORE-STACK+、多様なモデルの組み合わせ

論文

深層スタックの相関と較正を同時に改善するメタラーニング CORE-STACK+、多様なモデルの組み合わせ

スポンサーリンク

CORE-STACK+が、モデル数を減らしつつ精度と較正を同時に改善した

この記事のポイント

  • スタッキングの精度が制限される二つの病理
  • CORE-STACK+で冗長性フィルタとメタ学習ゲートを導入
  • 6ベンチマークで精度向上。ただし同系統の手法のみ比較

数字で見る

この記事に出てくる数字

パラメータ数 <15K

どこで使えるか

スタッキングで精度が頭打ちの人向け。冗長なモデルを減らしつつ較正を改善する arxivで公開済み 実装は記載なし

スポンサーリンク

解説

かみくだいて説明します

私、複数のモデルを積み上げるスタッキング手法が精度向上の定番ですよね?
確かにその通りです。CNNやViT、ハイブリッド型を組み合わせれば精度や堅牢性は上がりますが、そのままでは課題が潜んでいます。
既存の組み合わせ方だと、結局性能が頭打ちになるんですか?
二つの病理が絡み合っています。一つは予測空間の多重共線性で、重みの分散が膨れて脆い解になりやすい点です。もう一つは補正の崩壊で、ナイーブな線形結合だとモデルを足すほど補正誤差が悪化する現象です。
arXivに投稿されたCORE-STACK+は、この二つを同時に解決する事前条件付けパイプラインです。
そのアプローチって、具体的にはどういう仕組みなんですか?
四つの部品で構成されています。まずCentered Kernel Alignmentでモデル間の非線形な冗長性を濾過し、次に一万五千パラメータ以下のメタフィーチャーゲートがサンプルごとの重みを学習します。その上でマルチェンコ・パスター分布に基づくスペクトル適応リッジ罰則で正則化し、ラプラス近似ベイズブレンダーで最終統合を行います。これにより、モデル数を35から57パーセント削減し、推論FLOPsを最大41パーセント削減します。
冗長性を事前に削ってから学習するんですね!
ネステッドクロスバリデーションも不要になる設計です。
実際の数値はどれくらい改善したんですか?
ImageNet-1Kでトップ1精度がプラス一点八パーセント、ImageNet-Cの誤り指標がマイナス四点二、ADE20Kでセグメンテーション指標がプラス零点九、COCOで検出指標がプラス一点三ポイント向上しました。保持モデル数を三五から五七パーセント削減し、推論FLOPsを最大四一パーセント削減しています。補正誤差はディープアンサンブル比で二・一倍改善です。
少ないモデル数でこれだけ性能が上がるんですか?
冗長なモデルを事前に濾過しているため、計算コストを大幅に下げながら精度と補正の両立を実現しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその通りです。ただ、この手法は画像認識のバックボーンに特化しているため、テキストやオーディオへの適用はまだ検証されていません。また、理論的な限界は示しましたが、実機での動作環境依存性については依然として不明な点が残ります。
実際の試し方はどうすればいいんですか?
論文付属のコードと事前学習済みモデルが公開されています。標準的なPyTorch環境でそのままベンチマークを実行できますので、ぜひ試してみてください。
論文付属のコードと事前学習済みモデルが公開されています。標準的なPyTorch環境でそのままベンチマークを実行できますので、ぜひ試してみてください。
計算リソースを賢く使える未来が近づきましたね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文