学習モデルの構造でデータ価値が変わる話 ResNet-18、ImageNet-100

論文

学習モデルの構造でデータ価値が変わる話 ResNet-18、ImageNet-100

スポンサーリンク

ResNet-18の幅を広げると、同じデータで57から85サンプルに切り替わる。

この記事のポイント

  • 学習者の違いでサンプルの有用性が変わるか不明だった
  • ResNet-18の幅を変えて学習者を操作した
  • 幅が57から85に移動。ただしImageNet-1kでは効果小

数字で見る

この記事に出てくる数字

幅2倍の境界 57→85
解像度 224px
クラス数 100

どこで使えるか

同じデータで学習者を変える人向け。戦略の使い分けを設計する際に要る arXivで公開済み 実験コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Yangze Liu, Xiao-Long Yin, Zhongyi Hanらの研究チームが、AIの学習データを選ぶ際の実験で、同じデータセットでも使うモデルが変わると、役に立つデータの選び方が変わることが示されました。
使うモデルによって選ぶ基準が変わるんですか?
はい。画像認識のモデルResNet-18で試したところ、モデルの幅を2倍に広げるだけで、データ選びの優位性が入れ替わる境目が、1クラスあたり57個から85個に移動しました。同じデータなのに、学習する側が変われば相対的な価値が変わるということです。
確かに! 学習するAIの性能次第で、必要なデータ数まで変わるわけですね。
正確には、画像を分割する網目の大きさとも絡みます。網目を粗くすると境目は左にずれますが、モデルの幅が広いほどそのずれは小さくなります。convolutionの stride を変えるだけで、網目を変えなくても同じ効果が再現できました。
網目の話はまだ掴めません。もう少しやさしく言うとどうなりますか?
分かりやすく言うと、画像を拡大して見るのと似ています。網目を粗くして大きな枠で見た場合、細かい部分より全体の形が重要になります。すると、最初は簡単に見分けがつくデータより、形を捉えるのに役立つデータが優先されるようになります。
では、次にモデルの仕組みが変わるとどうなるんですか?
モデルをViTという仕組みに変えると、測定範囲内では形の情報を捉える方が常に有利になりました。普遍的な法則は見つかりませんでしたが、データ選びの戦略は必ず対象のモデルに合わせて評価する必要があると結論づけています。
研究している人から見ると、どこが新しいんですか?
従来はデータだけで境目が決まると考えられていましたが、同じデータ subset を凍結して学習側だけ変えた制御実験で、明確にモデル依存性を証明した点が新しいです。実務では、データ選びのツールを選ぶ際、使うモデルの構造を必ず確認する必要があるということです。
確かに! 使うモデルに合わせて選ぶ必要があるわけですね。
最後に、今後の見通しです。モデルの幅や入力形式によって境目が動くことは確かめられましたが、異なるデータセットや他のモデル構造でも同じ傾向が適用されるかは、まだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文