Keyword Harnesses Fail Openが、小規模モデルのツール使用偽陽性を数分で検出する診断ラダーを提供した。
この記事のポイント
- ツール使用を誤認するベンチがあった
- 661.6Mと1,109Mモデルを厳密に比較
- 238件で1Bが上。ただし過剰発動
数字で見る
この記事に出てくる数字
| パラメータ数 | 661.6M |
|---|---|
| 学習ステップ数 | 2,202 |
| GPU時間 | 3.3 |
どこで使えるか
ツール使用の偽陽性を数分で確認したい人向け。厳密な診断で過剰発動も検出可能。 論文公開済み 実証モデルのコードは記載なし
スポンサーリンク
解説
かみくだいて説明します
Juan S. Santillana 氏が arXiv に 2026-10-02 に発表した論文で、小さな言語モデルのツール使用を測るベンチマークに偽陽性があることを報告しています。
偽陽性、つまり使えていないのに使えていると判定されてしまう話ですね。どうしてそんなことが起きるんですか?
従来のキーワード一致のチェックでは、モデルが訓練データから丸暗記したパターンを返しているだけなのに、本来の機能として点数を稼いでしまうからです。正確には、モデルが実際に新しい指示に対して正しくツールを呼び出せているかではなく、訓練例をそのままなぞっているかを調べる必要があります。
丸暗記と本当の理解を分ける、ということですね。では、実際に比べたモデルはどういう違いがあったんですか?
スペイン語のセキュリティ向けモデル 2 種類を比べました。パラメータ 661.6M のモデルと 1,109M のモデルで、どちらも同じデコーダーとトークナイザーを使っています。緩い指標では B4 が 0.660 と 0.650 でほぼ同じですが、訓練例をそのまま出力させるテストでは 661.6M が 6 件中 6 件通るのに対し、1,109M は 6 件中 0 件でした。
大きい方が逆に使えていないというのは意外です。なぜ 1,109M の方は失敗するんですか?
1,109M のモデルはインターネットの文章を多く含む学習フェーズを経たため、ツール呼び出しの前のトークンを想定する確率が 10 のマイナス 4 乗から 10 のマイナス 5 乗まで削られてしまったからです。つまり、必要な前提知識が学習の過程で消えていた状態です。
学習の過程で必要な情報が消えていた、と。それを直す方法もあったんですか?
あります。多様なコーパスを使って学習率を 5 倍にし、2,202 ステップ、およそ 3.3 GPU 時間の計算で修正しました。269 件のコーパス全体で有効な出力は 0.100 から 0.959 に上がり、661.6M の 0.926 を上回っています。未知の 238 件のプロンプトでも 0.536 通り、661.6M の 0.428 を上回りました。
少ない計算量で直ったんですね。でも、直った部分がどこにあるかまで確認したんですか?
トークンの埋め込みベクトルの変化をチェックしました。bf16 のテーブルの 97.7% がビット単位で同一のままだったので、修正はトリガートークンの周りのネットワーク部分だけで起きています。比喩で言うと、辞書の定義ページ自体は変えずに、その単語の周りの解説文だけ書き換えたような状態です。ただし、両モデルとも否定的な指示に対してツールを呼び出さずに答えるケースが少なく、661.6M が 0.09、修正後の 1,109M が 0.17 です。
呼び出しすぎの問題はまだ残っているわけですね。研究している人から見ると、この修正レシピはどのくらい再現性があるんですか?
因子分析ではすべての修正設定がフォーマットをインストールしたことを確認していますが、多様なコーパスが抑制に効くかどうかはシード感度のためまだ仮説の段階です。この診断ラダーは CPU 数分で終わるため、小さなモデルのツール使用を主張する際は必ずこれを通すべきです。次は、シード感度を固定した大規模な追試がどの程度必要か、そして否定的な指示への過剰呼び出しをどう制御するか、そこがまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。