ルールを変えても判断が変わらない LLM の脆弱性、コンプライアンス監査の話

論文

ルールを変えても判断が変わらない LLM の脆弱性、コンプライアンス監査の話

スポンサーリンク

LLMのコンプライアンス判断がルール変更で変わらない。汎用モデル90%に対しガードモデルは51%。

この記事のポイント

  • 判定が規則に依存しない
  • 5モデル20領域で規則を削除
  • 正解ケースでは追従する

数字で見る

この記事に出てくる数字

ガードモデル精度 51%
一般モデル精度 90-92%
テストドメイン数 20

どこで使えるか

コンプライアンス判定を運用する人向け。ルール変更への追従性を事前評価できる 論文の記載のみ。コード公開なし 5モデル20ドメインで評価。プロンプト改善でも精度向上不可

スポンサーリンク

解説

かみくだいて説明します

Saisab Sadhuらの研究チームが、人工知能のコンプライアンスシステムに関する論文をarXivに公開しました。2026年10月9日に出されたこの研究では、与えられたルールを消したり入れ替えたりしても、モデルの判断が変わらないケースが非常に多いことが分かりました。
ルールを変えても判断が同じだと、本当にルールに従って動いているのか不安になりますね。正解率が高いモデルでも、実はルールを無視していた可能性が高いということですね。
そうです。ルールへの感度を測る手法自体は存在しますが、今回は5つのモデルと20の領域で、判断の結果変化と内部表現の変化を同時に計測しました。一般向けのモデルは90〜92パーセントの正解率を記録していますが、コンプライアンス専用に設計されたガードモデルは51パーセントとほぼ推測レベルに留まりました。
ガードモデルの方が正解率が低いというのは意外です。専門のモデルの方がルールを無視していることになりますが、これは仕様として受け入れられる範囲ですか。
受け入れられる範囲ではありません。ただしこれは全ケースを無視しているわけではなく、ルールを変えた時に正解が変わる難しいケースに限れば、モデルはルールの変化を確かに追跡しています。プロンプトを改善したり内部表現を直接修正したりしても、このズレは解消しませんでした。
内部表現を修正しても直らないとなると、技術者が手を出せる余地は限られているということですね。判断の根拠をルールに固定する方法は、まだ開発段階ですか。
正解率が高いからといって、その判断が与えられたルールに根ざしているとは限らないという結論です。内部表現への介入も改善せず、評価指標の観点からも、モデルの判断がルールに依存していない可能性が示されています。
評価指標が変わる可能性があるんですね。では、モデルの開発現場でこの論文がどう位置づけられるか気になります。研究者から見ると、どこが新しい発見だったんですか。
2つの指標を同時に使った点です。これまで結果の変化だけを見ていましたが、内部表現の変化を測ることで、モデルがルールを暗黙のうちに参照しているのか、完全に無視しているのかを区別できるようになりました。この区別が、精度だけでは見えない問題を浮き彫りにします。
内部表現の変化を見ることで、見えない問題を発見できるんですね。専門用語を使わずに言うと、モデルの頭のなかで何が起きているのかを覗き見する感じですか。
正確にはその通りです。画面の外からルールを書き換えても、モデルの頭のなかの反応が変わらないなら、その判断はルールとは無関係に別のパターンで出しているということです。20の領域でこの傾向が確認されています。
別のパターンで判断しているとなると、ルール違反を見逃すリスクが隠れていることになります。最後に、この論文が実用化されるまでには、まだどの辺りが解けていないんですか。
20の領域すべてでルール感度を安定して高める手法が確立していない点です。5つのモデルで出た傾向が、他のアーキテクチャでも同じかどうかは、そこはまだ分かっていません。精度とルール感度を同時に満たすモデルが、いつ実装されるかは今後の検証次第です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文