順位付けを全候補学習の約1%の費用で補正し、最悪の空間でも比較手法中で最も高い相関を保った
この記事のポイント
- ゼロコストプロキシの信頼性は空間で異なる
- Coarse RankingとAnchor-Residualの2段階
- 最悪空間相関0.715が比較手法で最高
数字で見る
この記事に出てくる数字
| 修正コスト比率 | 約1% |
|---|---|
| CIFAR-100精度 | 73.32% |
どこで使えるか
ゼロコストプロキシの信頼性向上を図る人向け。全候補学習コストの約1%で補正可能 arxivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Yifan Yangらの研究チームが、9月11日にニューラルネットワークの設計を自動で見つける手法「CoRA-NAS」を発表しました。
設計を自動で見つけるんですか。作る側からすると、どのくらい手間が省けるんですか。
候補となる設計を全部一気に学習させるのと比べて、およそ1%のコストで済みます。順位を付ける段階と、補正する段階の2つを組み合わせています。
全部一気にやらずに済むわけですね。具体的に何をすれば出るんですか。
まず設計の性質だけで大まかな順位を付け、その中からいくつか選んで短い学習曲線を外挿し、ExtraTreesという木を並べたモデルで残りの誤差を補正します。完全に学習させた正解のラベルは使いません。
木を並べたモデルですか。そこがまだ掴めません。どうなりますか。
複数の判断基準を別々に用意して、それぞれの意見を集約するイメージです。一つだけだと偏りが出ますが、複数あれば安定します。正解を教えずに、自分で誤差の形を学ぶ仕組みです。
偏りを減らすために複数使うわけですね。順位はどれくらい当たるんですか。
4つのベンチマークで、それぞれ相関係数0.946、0.715、0.786、0.894を記録しました。一番低い値の0.715でも、比較した手法の中で最も高い数字です。
一番低い値でも一番高いんですね。設計を選ぶ精度も気になります。
報告されている最高の73.37%に対して、73.32%まで届いています。サイズだけの空間でも、パラメータ数に対する不足分を補正できています。
サイズだけの空間でも補正できるんですね。手元で動かすのに何が要りますか。
コードの公開状況や、別の検索空間への適用方法については、そこはまだ分かっていません。
最後に、実用化に向けて何が足りないんですか。
引き続き公開される情報を見守ることになります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。