CALMが、プロンプトごとに局所的に安全修正する手法として、有害内容の抑制と通常内容の保持を両立させた
この記事のポイント
- グローバルな安全信号の限界が不明確
- プロンプトごとの局所修正で安全信号を置き換え
- 有害抑制が大幅に改善。良性の有用性は維持
どこで使えるか
有害抑制と良性保持の両立を図りたい人向け。局所修正で有害抑制は大幅に改善される arXivで公開済み 学習不要の手法。コード公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
NaHyeon Park, Minhyun Lee, Hyunjung Shim の研究チームが、テキストから画像を生成するAIの安全機能について、新しい手法CALMを発表しました。従来の手法は危険なプロンプトを一括りで排除する仕組みでしたが、CALMは各プロンプトごとに危険な部分だけを最小限に修正して安全側に寄せる方式です。
一括りで排除するのではなく、必要な部分だけ直すんですね。研究者から見ると、これまでの手法とどこが根本的に違うんですか?
従来は画像全体から危険な方向性を持つ成分を削るため、安全な画像まで一緒に歪めてしまう問題がありました。CALMはプロンプト内の危険な単語に対応する部分だけを対象に修正を加えるので、安全な画像を生成する際の品質を大きく損なわずに、危険な内容の生成を抑制できます。
安全な画像まで歪んでしまうのを防げるという話ですね。危険な部分だけを修正する仕組みは、具体的にどうやって見分けているんですか?
危険なプロンプトと安全なプロンプトの対となるデータを用意して、修正が必要な単語の表現だけを安全な側に少しだけ動かす仕組みです。専門用語でカウンターファクチュアル修正と言いますが、要するに危険な汚れが付いた部分だけを、洗剤で優しく落とすイメージです。全体を強くこすらずに、必要な場所だけ処理する仕組みと考えてください。
危険な汚れだけを優しく落とす作業ですね。その洗浄の精度は、どのくらい測れるんですか?
評価では、危険な内容の生成を抑制する能力と、安全な内容の生成を維持する能力の両方で従来手法を上回りました。ただし、この手法が適用される具体的な画像生成モデルの種類については、そこはまだ分かっていません。
抑制能力と維持能力の両方で向上したんですね。では、実務でこの手法を組み込む技術者から見ると、計算コストや処理速度に大きな影響は出るんですか?
学習を必要としない方式なので、既存のモデルに追加の学習コストをかけずに適用できます。処理速度については具体的な数値がないため、そこはまだ分かっていません。
追加の学習なしで使えるというのは開発の手間が省けますね。では、危険なプロンプトの見極めは、実際にどのくらい正確に行えるんですか?
多様な危険なカテゴリに対応するため、修正対象の見極めを細分化する設計になっています。ただし、すべての危険なパターンを完全に網羅できているかどうかは、そこはまだ分かっていません。
細分化して見極める設計なんですね。最後に、このCALMという手法が普及する上で、まだ解決していない課題はありますか?
要旨の「CALMは局所的な反実仮想修正により、グローバルな安全信号除去よりも選択的な代替手段を提供する」という結論に基づき、修正対象の見極めがより正確に行えることを示しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。