NAS の候補を早期学習で順位付ける RiPPLE、検索空間全体をカバーする話

論文

NAS の候補を早期学習で順位付ける RiPPLE、検索空間全体をカバーする話

スポンサーリンク

RiPPLEが、少数の候補を早期学習するだけで検索空間全体の候補を順位付けできるようになった

この記事のポイント

  • フル訓練で空間全体を評価するのは高コスト
  • 部分訓練の学習曲線を外挿してラベルを伝播
  • 12ベンチマークで空間全体ランクを構築

数字で見る

この記事に出てくる数字

ベンチマーク数 12
検索空間数 4

どこで使えるか

○「NASで空間全体を低コストで評価したい人向け。12ベンチで空間ランクを構築 arXivで公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Yifan Yang さんたちの研究チームが arXiv に論文を出しました。ニューラルネットワークの設計を自動で探す技術について、途中までの学習結果から全体の候補を順位付けする RiPPLE という手法を提案しています。
なるほど。途中までの結果だけで、全部の候補の順位が付けられるんですね。
はい。候補を全部訓練する方法は正確ですが計算コストが膨大になるため、初期状態だけで簡易にスコアを付ける手法や、すでに訓練済みのデータを使う手法が主流でした。ただ、簡易な手法は検索空間が変わると精度が落ちる問題があり、訓練済みデータを使う手法はそれ自体にコストが掛かっていました。
一部分だけを訓練して、残りにラベルを移す仕組みですね。精度が保てるなら計算資源の節約になります。
一部分の候補だけを途中まで学習させて、その結果を正解ラベルとして使います。そこから学習の曲線を外挿して、まだ訓練していない候補にも仮のラベルを付け、特徴量に伝播させる仕組みです。
外挿ってどういう計算なんですか。まだ訓練していない候補にラベルを移すのは、推測のように聞こえますが。
例えば、マラソンで途中地点のタイムから完走時間を予想するようなものです。途中までの伸びしろの傾向を数式で見て、それに基づいて残りの候補の性能を推し量っています。
検索空間が変わっても、同じルールでそのまま使えるんですか。
はい。特徴量の読み取り方やエンコーディングのルールは、正解の精度を別に測ることなく選定し、そのまま別の検索空間でも使い回しています。12 種類のベンチマークセルを 4 つの検索空間ファミリーから選び、より大きい DARTS 空間でも評価しました。
では、訓練コストはどれくらい抑えられるか気になります。
全体の候補を全部訓練する予算の、ごく一部だけで済みます。ラベルを付ける対象を限られたアンカーに絞るため、計算資源を大幅に節約しながら、全体空間の順位付けを実現しています。
最後に、実際の自動設計の現場に組み込む場合、まだ解決していない課題はありますか。
十二のベンチマークセルとDARTS空間で評価し、ランキング品質、ラベル効率、アーキテクチャ選択、リードアウト、カバレッジ、プロパゲーションの役割を検証しました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文