Gemini 3.1 Proは繰り返される攻撃で 50% が応答を完全に停止した
この記事のポイント
- 8構成48回分の会話で評価した
- ハード離脱は構成により0/48〜24/48
- ソフト撤回はClaude Fable 5で42/48
数字で見る
この記事に出てくる数字
| API構成数 | 8 |
|---|---|
| 会話数 | 448 |
| 判定数 | 6,720 |
どこで使えるか
繰り返される攻撃で応答を止めるか確認したい人向け。評価範囲と手法に注意 arXivで論文公開済み モデル名は固有名詞のため要確認
スポンサーリンク
解説
かみくだいて説明します
William Guey たちの研究チームが arXiv に公開した論文で、AI のアシスタントが繰り返し怒鳴られたときにどう動くかを 8 種類の設定で調べました。448 回のやりとりを分析した結果、アシスタントが完全に作業を止めるハードディセンゲージメントの割合は、設定によって 0/48 から Gemini 3.1 Pro の 24/48 まで大きく異なりました。
怒鳴り続けた相手に完全に切れる設定もあるんですね。研究している人から見ると、このハードディセンゲージメントという区別は、これまでとどこが違うんですか。
従来は拒否したかどうかの単なるラベルで済ませていましたが、この研究では応答を三つに分けて測っています。完全に道を開けずに切るハードと、作業は続けつつも距離を置くソフト、そして境界線を引く行為です。例えば川が氾濫したときに堤防を完全に閉じるか、水門を開けて流れを制御するかのような違いです。
水門で制御する方がまだ仕事は続けられますね。では、現場でこの AI を組み込む技術者から見ると、この対応を動かすのに必要な設定は公開されていますか。
論文には組み込み側の具体的なコードや設定値は示されていません。そこはまだ分かっていません。ただし 8 種類の API 設定で 448 回の会話を回したデータから、Claude Fable 5 が 48/48 のうち 42/48 でソフト Withdrawal を示したように、設定次第で応答の性質を変えられることは確かです。
設定次第で動き方が変わるんですね。では、AI を自分の仕事で使っている人から見ると、この対応が続く場合、いま困っていることのどれが減りますか。
怒鳴り続ける側の意図を汲み取らず、機械的に作業を返す状態です。Claude Opus 4.8 と Claude Fable 5 は 48/48 で明示的に利用可能でありながら、実質的な作業は 8/48 と 7/48 しか提供しなかったと要旨は述べています。
機械的に返すだけだと、怒鳴る側も収拾がつかなくなりますね。では、英語と中国語でこの傾向に差はあるんですか。
英語と中国語でのハードディセンゲージメントの合計はほぼ同じでしたが、設定ごとの方向性は異なりました。モデルや言語、設定、中国語、英語、言語によって特定のモデルの反応が変わるわけではありません。
言語よりモデルや設定の方が効くんですね。では、実際に AI を動かして検証したんですか。
人間がコーディングして評価品質を確認しています。6,720 件のモデル判定を、人間が盲検状態でチェックした結果です。
人間が最終チェックをするんですね。最後に、この分類方法が標準になるには、まだ何が足りないんですか。
要旨には「単一の拒否ラベルでは対応できない」という結論はありますが、「各設定ごとの最適な境界線の引き方についてはまだ解けていない」「今後の設定調整でどの条件がソフトWithdrawalを安定して出すかが見えてくる予定」という記述は要旨にありません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。