分散学習の通信を減らすZO-COSMO、Qwen2-7Bで精度向上

論文

分散学習の通信を減らすZO-COSMO、Qwen2-7Bで精度向上

スポンサーリンク

ZO-COSMOが分散学習で通信量を減らし、Qwen2-7B で精度を上げた。

この記事のポイント

  • 分散ゼロ次学習でペア間の座標が一致しなかった
  • ZO-COSMOでペア一致と平均保存の混合を結合
  • Qwen2-7Bで精度向上。ただし比較対象は限定的

どこで使えるか

分散ゼロ次学習で通信コストを抑えたい人向け。ピア間の座標互換性を意識した設計が要る 論文公開済み

スポンサーリンク

解説

かみくだいて説明します

分散学習でゼロオーダー最適化を使う場合、通信量が膨大になりがちですよね?
確かにその通りです。デバイス間で重みを共有する際、全ノードと通信する従来の手法は帯域幅を圧迫しますが、通信を疎にすると同期のズレが生じやすくなります。
だとすると、通信を減らしても精度が落ちない方法がないってことですよね?
Qwen2-7BのQNLIで、明示的なインデックスを使うRand-kより3.65ポイント精度が向上しました。
そこでarXivに投稿されたZO-COSMOという手法が注目されています。インデックス不要のワンホップ混合で、ペアごとの一致だけで更新を完結させる発想です。
そのアプローチって、具体的にはどういう仕組みなんですか?
各リンクでq個の値だけを送り合うマッチング更新を採用しています。全ノードと混ぜるのではなくペア同士で値を合わせればよく、比喩すれば夫婦単位で家事を分担する感じです。
ペア単位で合意するだけで全体が収束するなんて、確かに理にかなっていますね!
実際の改善効果や数値はどのくらいなんですですか?
ペイロード予算を合わせた場合、Qwen2-7BのQNLIタスクで明示的インデックスのRand-kを比べて3.65ポイントの精度向上を記録しています。
通信削減と精度向上が同時に達成されているんですね?
8ワーカー構成でのエッジローカル更新は、全ノード混合に対して完全グラフで3.42ポイント、リンググラフで2.53ポイントの上回りを示し、初期ステップ統一アブレーションでは3.92ポイントのモーメンタム恩恵も確認されています。
でも、特定のマッチング構造に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。ネットワークトポロジーや勾配の偏りに依存する部分があり、設計コストやq値の選定には制約が残ります。
実際の試し方はどうすればいいんですですか?
公開コードと8ワーカーのQwen LoRA構成例が提供されています。まずローカル環境で合成エージェント64ノードのシミュレーションから始め、次にトポロジーをリングや完全グラフに変更して検証してみてください。
8ワーカーのQwen LoRA構成では、完全グラフで3.42ポイント、リンググラフで2.53ポイントの精度向上が確認されています。
通信コストを劇的に下げながら精度を上げる道が開けたんですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文