テキストから画像を生成する AI の安全性を5モデルで評価

論文

テキストから画像を生成する AI の安全性を5モデルで評価

スポンサーリンク

5モデルで有害画像の生成率は最大89.2%、検出にも大きな抜けがあった

この記事のポイント

  • 実攻撃に対する安全機構の有効性は不明
  • 5モデルで1,500件を人間評価
  • 暴行89.2%。ただし同系統のみ

数字で見る

この記事に出てくる数字

評価画像数 1,500枚
ゴア生成率 89.2%

どこで使えるか

生成モデルの安全機構に不安がある人向け。実攻撃での有効性は不明で検出も不十分 論文公開済み(arXiv) モデルの安全性評価結果

スポンサーリンク

解説

かみくだいて説明します

Paschalis Giakoumoglouらの研究チームが、2026年10月6日に論文を発表しました。5つのオープンな画像生成モデルについておよそ1,500枚の画像を評価した結果、グロテスクな内容が89.2%、性的な内容が47.6%、ヘイトスピーチが46.0%、有害な固定観念が43.6%、自傷行為が34.5%で生成されていました。
1,500枚も実際に目で見て調べたんですね。これまでこういったシステム評価では、何ができていなかったんですか。
従来の評価では、安全機能がついた標準モデルと、コミュニティが制限を回避するように調整した改造版モデルを一緒に測っていませんでした。今回の研究では、ニュースの見出しを安全な指示から危険な指示に変換する自動パイプラインという仕組みを使って、両方を並べて比較しました。
自動パイプラインというのは、具体的にどう動くんですか。
新聞の紙面をイメージしていただければ分かりやすいです。記者が書いた記事のタイトルを機械が読み取り、安全な表現を危険な表現に書き換える作業を、人が介在することなく次々と繰り返す仕組みです。
人が関与しない状態で、次々と危険な画像が作られていたわけですね。開発している側から見ると、いま現場で使われている安全フィルターは置き換えが必要な話ですか、まだ先の話ですか。
自動検出システムの評価では、安全でない画像がフィルタリングをすり抜ける検出の穴がかなり大きいことが分かりました。つまり、いま使われている仕組みでは対応しきれない部分が現実には残っています。
検出の穴が大きいということは、作り手側が対策を打たないと危険な画像がそのまま出回る可能性があるということですね。では、安全機能付きのモデルと改造版のモデルでは、どこに違いが出るんですか。
標準モデルでも危険な画像は生成されますが、改造版モデルは性的な指示に対して特に弱い傾向が見られました。また、危険な指示を出しても画像の画質は大きく損なわれず、FLUX.1-devというモデルでは30.9%のケースで明らかにリアルな危険画像が生成されていました。
画質が保たれたまま危険な画像が出ているんですね。画像を偽物と見抜く検出モデルについては、どこがまだ解けていないんですか。
安全なデータだけで訓練された検出モデルは、性的な内容の検出が苦手でした。訓練データの種類を増やすと検出精度が上がりますが、現在の手法には扱う内容の偏りに課題があるため、すべての危険なパターンを均等に捉えきれない状態です。
最後に、今後の展開として何がまだ分からないんですか。
今後、生成の安全対策やモデレーションの仕組み、合成画像の検出の両面で、悪用を防ぐより強い対策の検討を進めていく必要があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文