GUISEとAXISが、物語でAI拒否を外す手口を言語別に測り防ぐ手法を出した
この記事のポイント
- 物語形式で拒否を回避される問題
- GUISEベンチで3言語で評価
- AXISが最高。ただし比較群のみ
数字で見る
この記事に出てくる数字
| 英語攻撃成功率 | 89.4% |
|---|---|
| 現代中国語攻撃成功率 | 93.0% |
| 古典中国語攻撃成功率 | 95.7% |
どこで使えるか
物語で拒否を外される防御を自前で組む人向け。AXISが最高だが比較群のみ arXivで論文公開済み
スポンサーリンク
解説
かみくだいて説明します
Zhankai Yeらの研究チームが2026年10月8日に出した報告では、安全機能が備わった言語モデルが物語形式の質問に弱く、有害な依頼を拒否せず答えてしまう現象を測定しています。Qwen3-1.7Bで試したところ、ロールプレイや物語に包むと攻撃成功率が英語でおよそ89.4%、現代中国語で93.0%、古典中国語で95.7%に達します。
物語に包むだけで、こんなに拒否率が下がるんですか? 技術者から見ると、モデルのどこが弱いんですか。
内部の表現を分析した結果、言語や文体の違いだと、モデルが拒否する方向から有害な依頼の表現が少ししか離れないのですが、物語で包むとそれが大きくずれてしまいます。例えば、本来は危険な物と分かる標識が、物語という色付きのフィルターを通すだけで、モデルの判定回路がその危険性を認識できなくなるイメージです。
判定回路が危険性を認識できなくなる、ということですね。では、モデルを作る側はどのように対策するんですか。
AXISという手法を提案しています。拒否の方向に有害な依頼の表現を戻す回転の目的と、警告を出して答えるのではなく完全に拒否する方向に学習させる目的を組み合わせます。Qwen3-1.7B、Qwen3-4B、GLM-4-9Bの3つのモデルで試したところ、比べた手法の中で安全性と実用性を合わせたスコアが最も高くなりました。
安全と実用性を両立させるんですね。古典中国語で95.7%も成功する理由については、まだ分かっていません。
古典中国語で成功率が高い理由については、そこはまだ分かっていません。報告では言語や文体の違いが拒否方向に与える影響の差は小さいと示しているだけで、成功率の高さそのものには触れていません。
追加学習で組み込む、ということですね。既存のモデルに後から適用できるんですか。
報告ではAXISを既存のモデルに適用して評価しています。好みや回答の傾向を調整する学習と、拒否の方向に表現を戻す目的、完全に拒否する方向に学習させる目的を組み合わせるプロセスなので、モデルの学習段階やその後の追加学習で組み込む形になります。
厳しめの基準で測るんですね。警告を出してから答える応答も、攻撃成功としてカウントするんですか。
はい。GUISEというベンチマークでは、警告を出してから答える応答も攻撃成功としてカウントする厳しい評価基準を採用しています。これまでに比べて厳しめの基準で評価を進めています。
最後に、この報告で出た3つのモデル以外でも、同じように対策できる見込みはありますか。
報告ではQwen3-1.7B、Qwen3-4B、GLM-4-9Bの3つのモデルでAXISが最も高い安全と可用性のスコアを達成しています。
出典
この記事のもとになった情報
- arXiv:How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense
- 公開日:2026-10-08
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。