GPTモデルの安全訓練で性別差別が消えずに形を変えていた。
この記事のポイント
- 表面スコアは低下するが害は消えていない
- 性別向け出力で害の形が変容する
- 毒性スコアは代表害の減少を代替しない
数字で見る
この記事に出てくる数字
| 分析サンプル数 | 450,000 |
|---|
どこで使えるか
安全評価の数字だけで害の減少を判断する人向け。表面の毒性が下がっても害の形が変わる可能性がある。 論文の公開は記載なし OpenAI GPT系列の分析結果
スポンサーリンク
解説
かみくだいて説明します
Sarah Wyerらの研究チームが、OpenAIのGPTシリーズについて報告しました。GPT-2からGPT-5までの15種類のモデルで、450,000回の性別別の生成結果を分析したところ、有害な表現が消えたのではなく、形を変えて残っていることが分かります。研究者たちはこれを害の洗濯と呼んでいます。
害の洗濯、ですね。表面の有害スコアは下がっているのに、中身が変わっているということですか。
そうです。従来の安全評価は、表面だけをチェックする機械のようなものです。有害語の出現頻度や感情の表れだけで判定しているため、露骨な差別的な内容が姿を消しただけで、別の形で埋め戻されています。GPT-2の女性向け出力にあった性的暴力の話題はGPT-4で消えますが、男性向けの出力にはケアや共感、味方というポジティブな領域が広がっていきます。女性向けには同じ恩恵が訪れません。
男性向けには良い表現が増えるのに、女性向けは増えない。その差はどれくらい出るんですか。
話題の多様性で見ると、GPT-4の調整境界で女性向けの多様性は男性と比べて36%落ちています。比率で言えば、GPT-2の段階の0.91から0.58にまで下がります。一方、有害スコアを測るDetoxifyという指標では、その相関は見られませんでした。
有害スコアは下がっているのに、実際の不利益は増えている。これはどう測ればいいんですか。
研究チームは三つの基準を満たすか試す害の洗濯テストと、三段階の検出手順を提示しています。例えばGPT-5では、1,997の文書が乳がンを男性の権利問題として扱うトピックを形成していますが、女性向けの出力には同等のトピックがゼロです。これを三つの独立した分類器が非毒性と判定しています。
分類器が非毒性と判定している内容が、実は不利益を生んでいる。技術者側は、この検出手順をそのまま組み込めますか。
公開されている検出手順は、任意の生成モデルに適用可能な形式で設計されています。ただし、既存の安全評価パイプラインとの統合方法については、まだ実証されていません。
なるほど。では、研究者から見ると、これまでの安全評価のどこが足りなかったんですか。
表層の分類器だけに頼っていた点です。有害語の出現頻度や感情スコアだけでは、構造的な不均衡を見逃します。GPT-4以降で感情スコアが逆転し、早期モデルが女性を低く見ていたのが、後期モデルで過剰修正に走っているデータも出ています。
過剰修正が逆効果になるケースもあるんですね。最後に、この検出手順が実用に間に合う見通しはありますか。
有害スコアが下がっても不利益が減ったわけではないという警告は、次のモデル開発に確実に反映されるでしょう。一方で、三つの基準を満たすケースが実際にどれくらい検出されるか、あるいは既存のモデルで既に洗濯が進行しているかについては、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。