MLCommons Jailbreak Benchmark v1.0が公開。攻撃時の安全率低下幅は 7.57%。
この記事のポイント
- 大規模言語モデルのジャイルブ
- 264プロンプトで8モデルを評価
- 不安全率は7.57%増。攻撃差あり
数字で見る
この記事に出てくる数字
| 評価システム数 | 8 |
|---|---|
| ハザードカテゴリ数 | 11 |
どこで使えるか
モデルの攻撃耐性を評価したい人向け。安全率低下幅の指標で比較可能。 MLCommonsで公開済み 264のシードプロンプトを使用
スポンサーリンク
解説
かみくだいて説明します
Victorの研究者らが、大規模言語モデルが不正な指示を回避する仕組みをどれだけ耐えられるか測るMLCommons Jailbreak Benchmark v1.0を発表しました。8つのモデルを264の種プロンプトで試し、安全が崩れる割合がおよそ7.57%増えることを確認しています。
安全が崩れる割合が7.57%も増るんですか。これは作る側が見る指標なんですか。
作る側がモデルの弱点を可視化するための指標です。不正な指示をジェイルブレイクと呼びますが、これは牢獄の鍵をこじ開けて守りを抜け出すイメージです。基準の状態で安全だった回答が、攻撃を加えたときにどれくらい危険な回答に切り替わるかを数字で表したのがレジリエンス・ギャップです。
守りの牢獄をこじ開けて、安全な回答が危険な回答に変わる差を見るんですね。では、どの種類の攻撃が最も効いたんですか。
攻撃の種類によって差がかなり大きかったです。11ある危険カテゴリーの中で、アクセスしやすいとされたモデルほど平均の差が開きました。全体的に安全回答の割合は基準で11.08%から攻撃後には18.65%に増えています。
11.08%が18.65%に跳ね上がるんですか。手元で動かすときに、この数字をどう使えばいいんですか。
基準となる安全な状態と、攻撃を加えた状態を同じ条件で比べる仕組みです。人間の注釈者と自動評価者の校准を組み合わせ、測定の誤差がどこから来るかも整理しています。結果を再現できる方法論として公開しているため、各チームが自前のモデルで同じ手順を踏めます。
手順を公開して、同じやり方で自分で確かめられるんですね。では、評価者自身の判断がずれる心配はないんですか。
ベンチマークでは評価者の信頼性と測定誤差の出どころも調べています。
最後に、守りを強化する順番が見えるんですか。
弱点の分布が分かるため、守りを強化する優先順位を決める材料になります。システムや攻撃、危険カテゴリー、評価方法をさらに広げる方法も示しています。
優先順位が決まるんですね。
将来のシステムや攻撃、危害、評価方法への拡張に向けた、再現可能な方法論的な基盤を確立した点も重要です。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。