合成データの中から学習に役立つものを選ぶフィルタリング手法、LLM のファインチューニングと広告システムでの話

論文

合成データの中から学習に役立つものを選ぶフィルタリング手法、LLM のファインチューニングと広告システムでの話

スポンサーリンク

FROSTが合成データを 20〜30% 削減し、LLMファインチューニングと広告システムで性能を向上させた

この記事のポイント

  • 既存手法は学習者の必要を測れなかった
  • 実データ勾配で合成データの価値を推定
  • 20〜30%フィルタで性能向上

数字で見る

この記事に出てくる数字

フィルタリング率 20-30%

どこで使えるか

合成データのフィルタリングを自前で組む人向け。実データ勾配で価値を推定し不要データを削る コードの公開は記載なし ベンチマーク2つと産業用システムで検証

スポンサーリンク

解説

かみくだいて説明します

合成データって、実データが足りない時に教師信号を補完するんですよね?
確かにその通りです。実データが限られる現場では、合成データで学習量を拡張するのが一般的です。
でもノイズや分布のズレが課題じゃないですか。既存の選別手法って、忠実さや多様性ばかり重視していませんか?
その通りです。忠実さや多様性を優先する手法は、学習中のモデルが今何を必要としているかを無視しがちでした。
そこでarXivに公開されたFROSTというオンラインフレームワークが注目されています。実訓練データに勾配フィードバックを固定し、合成データの有用性を推定する手法です。
FROSTって、具体的にはどういう仕組みなんですか?
直近のバッチ履歴に対してバッチ単位の有用性を較正し、外部検証器やホールドアウトデータを使わず、オフバンドバッチだけでフィルタリングを実行します。
外部の正解なしに学習中にコンパス代わりに勾配を使うんですか! 確かにメモリ効率が良さそうです!
実際の性能向上はどれくらいあるんですか?
画像分類とテキストからSQLを生成するLLM微調整のベンチマークで、合成データの20〜30%をフィルタリングしながら実タスクの性能を向上させました。
削減率と性能向上が同時に達成されているんですね! 本番環境での実証結果も教えてください。
大規模な広告再ランク付けシステムでの訓練中に適用したところ、高度に最適化された本番ベースラインを大幅に上回る性能向上を確認しています。
でも、実データの勾配に依存する以上、特定のバッチ構成に最適化しただけで、結局根本的な解決にはなっていないんじゃないですか?
その通りです。実データの勾配に依存するため、FROSTは外部検証器やホールドアウト検証セットを使わず、バッチの履歴に対してUtilityを較正してフィルタリングを行います。
実際に試す場合はどうすればいいんですか?
実証実験では画像分類やテキストSQL生成の2つの公開ベンチマークで評価し、大規模広告システムでも適用しています。
合成データ活用において、20〜30%のデータをフィルタリングし、実タスクの性能を向上させています。
学習中のリアルタイム適応が標準になれば、合成データ活用がもっと楽になりますね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文