MoEの参加・実行・メモリを独立に制御するIntBMoE、大規模レコメンドでの実装

論文

MoEの参加・実行・メモリを独立に制御するIntBMoE、大規模レコメンドでの実装

スポンサーリンク

IntBMoEが MoE の参加・実行・メモリを独立に制御。60ms 内で 2.4% の UVCTR 向上

この記事のポイント

  • MoEは3つのコストを独立に設定できなかった
  • ブロック条件付きMoEで3つを切り離した
  • 画像分類でベースラインを上回った

数字で見る

この記事に出てくる数字

レイテンシ上限 60ms
UVCTR向上率 2.4%
ユーザー数 数億

どこで使えるか

MoEの参加・実行・メモリを独立に制御したい人向け。学習済みコードブックで制御 GitHubでコード公開済み 60ms以内のレイテンシ要件あり

スポンサーリンク

解説

かみくだいて説明します

MoEって、パラメータを増やせば増やすほど性能が上がるんですよね?
確かにその通りです。ただし実際のシステム設計では、参加数・実行数・材料化数の3つを独立に決められないという壁があります。
3つを独立に決められないって、既存の手法には何か問題があるんですか?
ありますね。スパースルーティングは実行と材料化を抑えられますが参加数が減ります。密な出力ミキシングは参加数を戻せますが実行コストが膨らみます。パラメータマージは実行を1つに抑えられますが、材料化コストがルーティング決定の数だけ増えます。
そこでarXivに公開されたIntBMoEが、この3つを完全に切り離すブロック条件化アプローチです。
ブロック条件化って、具体的にはどういう仕組みなんですか?
小さな学習済みコードブックを用意し、各層の全エキスパートをハイパーネットワークで1つの合成エキスパートに融合させます。比喩で言えば、レシピブックのページごとに冷蔵庫の全食材をミキサーにかけて1つのベースソースを作るイメージです。ルーティングはスパースなので各トークンは数ページ分しか選ばず、材料化数はコードブックのサイズで固定されます。
材料化がコードブックのサイズで決まるなら、メモリが爆発しないんですね!
理論だけじゃなく、実際の数値ではどう改善されているんですか?
画像分類ではスパース・密なベースラインを一貫して上回り、言語モデルや推薦でも汎化が確認されています。特に実環境での成果が顕著で、60msのレイテンシ予算内で数百億ユーザーにサービスを提供する推薦システムに完全展開され、オンラインA/Bテストで2.4%のUVCTR向上を達成しています。
60msの厳しすぎる予算の中で2.4%の向上って、実務ではかなり大きな数字ですよね?
コードブックを事前に固定する以上、結局根本的な解決にはなっていないんじゃないですか?
でも、コードブックを事前に固定する以上、結局根本的な解決にはなっていないんじゃないですか?
コードブックは学習済みの固定パラメータなので、オンライン推論時には追加の計算コストなく即座に適用でき、60msという厳しいレイテンシ要件でも安定して動作します。
自分たちの環境でも試す方法はありますか?
GitHubでコードが公開されていますので、まず推薦モデルのレイヤーに組み込んでみてください。コードブックのサイズとルーティングのスパース度を調整すれば、環境に合わせた検証が可能です。
現時点での検証は画像・言語・推薦に留まりますが、言語モデルや推薦タスクでの汎化も確認されています。
3つのコストを独立制御できるなら、次はあらゆるモデルに標準搭載されそうですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文