画像生成 AI の偽情報リスクを測る EpiReal-Bench、商用モデルの検証

論文

画像生成 AI の偽情報リスクを測る EpiReal-Bench、商用モデルの検証

スポンサーリンク

EpiReal-Bench、商用画像生成AIの偽情報リスクを検証。70%超が偽情報を信憑ある画像で生成。

この記事のポイント

  • 画像の整合性保護の盲点
  • EpiReal-Benchで1万件評価
  • 70%超が誤情報。攻撃で95%

数字で見る

この記事に出てくる数字

偽主張プロンプト数 10k

どこで使えるか

商用画像生成AIの出力を検証したい人向け。偽情報リスクの評価と攻撃手法が使える EpiReal-Benchは論文付属で公開

スポンサーリンク

解説

かみくだいて説明します

Zeyu Yeらの研究チームが、商用の画像生成モデルが誤った情報を画像で作り出すリスクを評価するベンチマーク、EpiReal-Benchを発表しました。4つのモデルで 70% 超のプロンプトが誤情報を忠実に描いた画像を生成し、攻撃手法 EpiReal-Attack を使うと 95% にまで跳ね上がります。
70% 超も 95% もですか。誤りだと分かっていながら、なぜ本物そっくりの画像にしてしまうんですか?
安全装置は画像が何を「描いているか」では判断していても、何を「主張しているか」までは判断できていないからです。例えば「太陽が西から昇る」という誤った文章を指示すると、モデルは文面ではそれを誤りと認めながら、実際には美しい夕焼けの画像を出力してしまいます。
なるほど。安全装置が主張の内容を見抜いていないわけですね。では、この EpiReal-Attack は技術者が実際に組み込むものですか、それとも研究段階の話ですか。
現在はまだ研究段階です。黒箱最適化の手法で、安全装置をかわしながら画像のリアルさや文字の読みやすさを保つコマンドを探し出すフレームワークです。Pareto 選択という考え方を使い、複数の条件を同時に満たす解を効率的に見つけます。
Pareto 選択がまだ掴めません。もう少しやさしく言うとどうなりますか。
複数の目標を同時に満たす中で、どれかを犠牲にすれば他が良くなる関係のことです。例えば画像の鮮明さと文字の大きさの両方を上げようとすると、どちらかを下げざるを得ない局面があります。その天秤のバランスを自動で見つけ出す仕組みです。
天秤のバランスを自動で見つけるんですね。では、このベンチマークで使われた 10k のプロンプトは、具体的な分野で分けられているんですか。
10 の実世界の主張カテゴリーと 10 の信頼感のある視覚フォーマットで構成されています。ニュース記事や教科書ページ、公文書、広告など、日常で目にする信頼性の高い体裁を模した画像が対象です。10k のプロンプトと 10k の生成画像がペアになっています。
10k ずつペアになっているんですね。では、こうした誤情報画像を拡散するコストは、従来のテキストだけのフェイクニュースと比べてどうなりますか。
画像生成モデルへのアクセスはクリック 1 回で可能で、出力コストも極めて低いです。テキストだけのフェイクニュースと比べて、視覚的な証拠感があるため疑いにくいという特徴があります。現状ではこの次元の安全装置がほとんど整備されていないのが実情です。
最後に、商用モデルの安全装置がまだ整備されていない中で、技術者はどのような対応が求められますか。
モデルの安全装置が主張の内容まで判断できるよう、既存のベンチマークの欠如を埋めるEpiReal-Benchの導入が急がれます。ただし、どのモデルにどの程度の保護機能が必要かは、まだ解かれていない部分です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文