検索広告の複数の目的を同時に最適化する UniPolicy、オンラインで収益を改善した話

論文

検索広告の複数の目的を同時に最適化する UniPolicy、オンラインで収益を改善した話

スポンサーリンク

UniPolicyが、検索広告のCTRを0.71%、収益を1.32%改善した

この記事のポイント

  • 従来は単一報酬や単純な融合
  • この手法で目的別にパラメータを分離
  • 7日間のA/Bテストで各指標が改善

数字で見る

この記事に出てくる数字

CTR改善 0.71%
RPS改善 1.58%
収益改善 1.32%

どこで使えるか

検索広告のCTRと収益を同時に上げたい人向け。目的別にパラメータを分離し、勾配競合を回避する 論文に記載あり、コード公開は不明 7日間のオンラインA/Bテスト結果

スポンサーリンク

解説

かみくだいて説明します

Kun Yaoらの研究チームが、検索広告の生成モデルを複数の目的に合わせて調整するUniPolicyというフレームワークをarXivに公開しました。従来の手法が一つの報酬だけで最適化していたのに対し、関連性やクリックのしやすさ、収益価値を同時に考慮し、7日間のオンライン実機テストでクリック率を0.71%、広告収入を1.32%それぞれ向上させました。
複数の目的を同時にやる場合、それぞれの目標が邪魔し合ってしまう心配があるんですか。
確かにその通りで、勾配という学習の方向性が互いに引き合いっこを起こすのが課題でした。UniPolicyは共有のモデルバックボーンの中で、目的ごとに専用の接頭辞トークンとMoE-LoRAというルーティング、そして残差FFNと呼ばれる層を配置します。まるで一つの工場に専門の作業ラインを独立して並べるようなイメージで、目的ごとのパラメータ空間を階層的に切り離しています。
専門のラインを別々に作ることで、学習のぶつかりを回避するわけですね。その際、クリックされた広告とクリックされなかった広告の差をどう取り込むんですか。
複数の段階で得られる行動フィードバックからペアごとの好みを構築します。特に表示はされたけれどクリックされなかったサンプルについて、相対的な好み情報を補完する役割を持たせています。クリックされた候補の生成分布における相対的な優位性を強めることで、モデルが広告を生成する際の判断材料を豊かにしています。
表示されただけで止まるケースの情報も活かすんですね。推論の段階では、どの目的にどのくらいの候補数を配分する自由度はありますか。
あります。ビジネスごとにカスタマイズ可能なマルチポリシービームサーチを並列で実行し、固定された検索予算の中で目的ごとの候補枠を柔軟に割り当てます。大規模なオフライン実験では、単一目的の強化学習や単純な報酬融合のベースラインを上回り、検索品質を維持しつつ複数の指標でバランスの取れた改善を示しました。
検索品質を落とさずに複数の指標を同時に上げられたのは大きいですね。実運用での待ち時間はどうなっていますか。
7日間のオンラインA/Bテストでは、サービングレイテンシを安定して維持しながら、クリック率の0.71%向上、RPSを1.58%向上、広告収入を1.32%向上させています。RPSは1秒あたりの検索リクエスト数を指します。
待ち時間が増えないまま収益が伸びるなら、広告プラットフォームの技術陣にとって即戦力になりそうです。実装に必要な公開リソースや、他の広告システムへの適用可能性は。
実装に必要な公開リソースや、他のプラットフォームへの適用可能性については、論文の要旨には具体的な記述がありません。このフレームワークは検索広告という特定の領域に特化して設計されており、他プラットフォームへの適用には各社の検索インフラに合わせた調整が別途必要になる見込みです。
では、今後の展開で気になっている点はありますか。
複数の目的を同時に最適化する場合、目的同士の重み付けをどう決めるかが実務上の鍵になります。UniPolicyが提示した階層的なパラメータ分離の考え方は、検索広告に限らず推薦システムなど他の領域でも参考になる可能性がありますが、実際の重み調整の指針については本研究では明示されていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文