VeriSpecがOpenAI仕様書から405個のルールを抽出し、5つの矛盾を手作業で検証した。
この記事のポイント
- 自然言語の仕様に矛盾があって
- 仕様のテキストを直接監査する
- OpenAI 仕様の 405 規則で最高精度
数字で見る
この記事に出てくる数字
| 抽出ルール数 | 405 |
|---|---|
| 精度 | 38.5% |
| 検証1件あたりコスト | $11.12 |
どこで使えるか
モデルの仕様に矛盾があるか確認したい人向け。自然言語のルールを直接監査して高精度に特定する GitHubで公開済み
スポンサーリンク
解説
かみくだいて説明します
Zichen Xieらの研究チームが、2026-10-02に人工知能の動作規定に書かれた矛盾を自動で見つける手法「VeriSpec」を発表しました。OpenAIのモデル規定を分析したところ、405個のルールから5つの矛盾を見出し、開発元に報告して内部議論が始まったとあります。精度は38.5%で、1件当たりの検証コストは$11.12でした。
規定に矛盾が混じっているんですか。どうやって見つけるんですか。
規定を自然言語のまま残しつつ、人工知能を検証役として使います。まず文から条件を抜き出し、同じテーマで似た動きをするルールを辞書の目次みたいにグループ化します。その上で、人工知能に2つのルールを同じ場面にあてはめてもらい、両立しない組み合わせを探します。
辞書の目次みたいにまとめるんですね。同じ場面ってどう決めるんですか。
場面はルール同士が直接関係する話題で限定します。つながっていないルール同士は比較しません。ただ、この精度だと10件調べておよそ4件が実際に矛盾している計算です。残りは人工知能の見落としか、規定の書き方の問題かもしれません。
10件中4件は多いです。他の企業でも試すんですか。
論文には他の企業への適用については書かれていません。そこはまだ分かっていません。ただ、手法のコードは GitHub で公開されていますので、他のチームが同じ規定に当てはめることは可能です。
コードが公開されているのは開発者にとって助かりますね。では、組み込む作業のどこが楽になるんですか。
動作テストで矛盾を探すより、規定の段階で缺陷を拾えるので、後からモデルを作り直す手間が減ります。5件の矛盾は開発元に報告して、すでに内部で議論が始まっています。
規定の段階で直せるなら効率的ですね。$11.12は従来の手法より安いですか。
5つの比較手法と比較した結果、VeriSpecが最も安かったとあります。具体的な数字の比較は論文に載っていませんが、1件当たりのコストが最も低いことを示しています。
具体的な数字がないのは残念ですね。最後に、まだ解けていない課題はありますか。
405個のルールを取り出して、5つの矛盾を見つけて全部開発者に伝えたら、好意的な反応があって社内で話し合いが始まったらしい
出典
この記事のもとになった情報
- arXiv:Detecting Inconsistencies in Model Specifications with LLM-as-Verifier Reasoning
- 公開日:2026-10-02
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。