FROSTが合成データを 20〜30% 削減し、LLMファインチューニングと広告システムで性能を向上させた
この記事のポイント
- 既存手法は学習者の必要を測れなかった
- 実データ勾配で合成データの価値を推定
- 20〜30%フィルタで性能向上
数字で見る
この記事に出てくる数字
| フィルタリング率 | 20-30% |
|---|
どこで使えるか
合成データのフィルタリングを自前で組む人向け。実データ勾配で価値を推定し不要データを削る コードの公開は記載なし ベンチマーク2つと産業用システムで検証
スポンサーリンク
解説
かみくだいて説明します
合成データって、実データが足りない時に教師信号を補完するんですよね?
確かにその通りです。実データが限られる現場では、合成データで学習量を拡張するのが一般的です。
でもノイズや分布のズレが課題じゃないですか。既存の選別手法って、忠実さや多様性ばかり重視していませんか?
その通りです。忠実さや多様性を優先する手法は、学習中のモデルが今何を必要としているかを無視しがちでした。
そこでarXivに公開されたFROSTというオンラインフレームワークが注目されています。実訓練データに勾配フィードバックを固定し、合成データの有用性を推定する手法です。
FROSTって、具体的にはどういう仕組みなんですか?
直近のバッチ履歴に対してバッチ単位の有用性を較正し、外部検証器やホールドアウトデータを使わず、オフバンドバッチだけでフィルタリングを実行します。
外部の正解なしに学習中にコンパス代わりに勾配を使うんですか! 確かにメモリ効率が良さそうです!
実際の性能向上はどれくらいあるんですか?
画像分類とテキストからSQLを生成するLLM微調整のベンチマークで、合成データの20〜30%をフィルタリングしながら実タスクの性能を向上させました。
削減率と性能向上が同時に達成されているんですね! 本番環境での実証結果も教えてください。
大規模な広告再ランク付けシステムでの訓練中に適用したところ、高度に最適化された本番ベースラインを大幅に上回る性能向上を確認しています。
でも、実データの勾配に依存する以上、特定のバッチ構成に最適化しただけで、結局根本的な解決にはなっていないんじゃないですか?
その通りです。実データの勾配に依存するため、FROSTは外部検証器やホールドアウト検証セットを使わず、バッチの履歴に対してUtilityを較正してフィルタリングを行います。
実際に試す場合はどうすればいいんですか?
実証実験では画像分類やテキストSQL生成の2つの公開ベンチマークで評価し、大規模広告システムでも適用しています。
合成データ活用において、20〜30%のデータをフィルタリングし、実タスクの性能を向上させています。
学習中のリアルタイム適応が標準になれば、合成データ活用がもっと楽になりますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。