タスク数とサンプル数の偏りを正す正則化、252組の実験で平均性能を改善

論文

タスク数とサンプル数の偏りを正す正則化、252組の実験で平均性能を改善

スポンサーリンク

Sample-Weighted End-to-End Trace-Norm Geometryが、252組の実験で平均性能を改善した

この記事のポイント

  • 一般化限界が成分ごとに別々に制御されていた
  • エンドツーエンド写像のトレースノルムを定式化
  • 252組の比較で平均超過を0.00764改善

数字で見る

この記事に出てくる数字

改善幅 0.00764

どこで使えるか

マルチタスク学習で一般化を改善したい人向け。タスク間の幾何学を考慮した正則化が要る arXivで公開済み コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

私の専攻でも複数タスクを同時に学習するモデルは、共通の表現層とタスク固有の出力層を組み合わせますよね?
確かにその通りです。共有表現で汎用性を高めつつ、タスクごとに重みを分ける構成が主流になっています。
既存の理論では、なぜかこの二つの要素を別々に制御しようとする傾向がありますよね?
確かにです。別々に評価すると相対的な向きや打ち消し合いの情報が失われ、中間座標の変換だけで評価結果が変わってしまう欠陥があります。
arXivで公開された本研究は、タスク係数から入力空間の予測子へのエンドツーエンド写像の、サンプルサイズ重み付きトレースノルムに着目します。
その重み付きトレースノルムって、具体的にはどういう仕組みなんですか?
地図の座標軸を回転させても距離の合計が変わらない不変量のように設計されています。固定半径クラスに対して正確なラデマハー複雑度を導出し、表現層の作用後に正定値タスク共分散を除去した形で特徴づけます。
座標変換に揺るがない不変量として設計されているんですね!
有限次元中間空間では等価な正則変換全体で分離積を最適化する構成になっており、リプシッツ共有写像からはソボレフタスクグラム行列が導かれます。
理論だけでなく実際の性能向上はどの程度確認されているんですか?
252組のホールドアウト比較で、重み付き結合ニュークリアル正則化は未重みニュークリアル正則化より平均過剰誤差を0.00764改善し、95パーセント信頼区間は0.00465から0.01110です。
正しいタスク数を使うとさらに効果的なんですか?
重み付き核正則化は平均で0.00764改善し、タスク数修正は平均と最少四分位でそれぞれ0.01072、0.02847改善します。フロベニウスやリッジも上回り、7つの事前ゲートも全通過しています。
でも、この特定のノルム最適化だけだと、結局根本的な解決にはなっていないんじゃないですか?
確かに。252回の比較で重み付き核正則化が平均 excess を0.00764改善し、タスク数補正も有意でした。
自分で検証する場合はどう進めればいいんですか?
公開論文の数理構成とコードを参照し、プロトコル固定の未見データセットで重み付き結合ニュークリアル正則化を適用してみてください。
検証範囲は特定のスートに限定されますが、重み付き結合ニュークリアル正則化は平均の過剰誤差を0.00764改善しました。
重み付き結合核正則化は、重みなし核正則化と比較して平均の過剰誤差を0.00764改善しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文