DPO改良法が、Few-stepモデルでも特定の概念を消せることを実証した
この記事のポイント
- DPOはFSDに転用しにくい
- DPOをFSD向けに修正
- ID・NSFWで忘却・保持両立
どこで使えるか
特定概念を消したい人向け。少数ステップの生成特性に合わせた選好最適化で直接忘却を実現 arxivで公開済み FSDモデルへの直接適用が可能
スポンサーリンク
解説
かみくだいて説明します
Gaurav Patelらの研究チームが、テキストから画像を生成するAIモデルの安全な学習解除手法をarXivに公開しました。画像生成AIを数ステップで動かすように軽量化したモデルに対し、特定の概念を直接消去できる方法です。
数ステップで動かすというのは、処理を速くしたモデルのことですね。現場の技術者はどう乗り換えるんですか。
はい。従来の手法は多ステップのノイズ除去を前提にしていたため、ステップを大幅に減らしたモデルには適用ができませんでした。既存のモデルで学習解除をしたあと再度軽量化すると時間と計算資源が膨大になるため、実用には向きませんでした。
計算資源が膨大になるのは確かに痛いですね。
そこでDirect Preference Optimization、いわゆるDPOという手法を画像生成に合うように改良しました。DPOは正解と不正解のペアを使ってモデルの好みを整える仕組みですが、数ステップモデルの生成特性に合わせて数式を組み直したため、軽量化を維持したまま特定の概念を直接消去できます。
正解と不正解で比較するんですね。
生成された画像を、対象を消す方向と元の能力を残す方向で比較し、差が広がるように重みを更新します。人物の顔や露出の多い画像、特定の物体の削除で実験した結果、対象の生成は確実に抑制され、他の能力は維持されることを確認しました。
従来の軽量化やり直しは確かに手間がかかりますね。処理コストはどれくらい違いますか。
直接数ステップモデルに適用するため、軽量化し直しの工程が不要です。これにより計算コストと所要時間を大幅に削減でき、実環境での運用が可能になります。
数式を組み直した上で直接消去できるんですね。
数ステップモデル特有の生成ダイナミクスを数式に組み込んだため、従来手法では消去が失敗していた部分が一気に解決しました。他の非対象能力の保持率も高く、実用的な学習解除の基準になり得ます。
では、実際の製品に組み込まれる見通しはどうなっていますか。
論文には具体的な製品名や組み込み日程の記載はありません。技術的な実証が完了した段階であり、各企業が自社のモデルにどう適用するかは今後の動向を待つ必要があります。
最後に、実用化に向けてまだ解けていない点はどこですか。
対象概念の範囲をどこまで細かく設定できるかや大規模モデルへの拡張性は、要旨からは分からず、人物削除と物体削除の検証に留まっています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。