5つのモデルが数値の表記を変えても同じ答えを出すか調べた
この記事のポイント
- モデルが数値表現で正解を揺らぐ
- 3600問題と8600プロンプトで5モデルを評価
- 科学表記で崩れるが、意味的病理も残る
数字で見る
この記事に出てくる数字
| 生成問題数 | 3,600 |
|---|---|
| プロンプト数 | 8,600 |
どこで使えるか
数値表現の不変性を自前で検証したい人向け。固定構文監査でLLM判定不要 コードの公開は記載なし 付随アーカイブは論文ページから入手可能
スポンサーリンク
解説
かみくだいて説明します
LLMが数学を解くのは当たり前ですが、数字の書き方が変わっても答えが変わらないですよね?
確かにその通りです。小数でも分数でも百分率でも、数値が同じならモデルは同一の正解を返すべきです。
でも既存のベンチマークだと正解と合致するかだけ見ていて、表現が変わった時の振る舞いまでは測れていないんですよね?
そうです。正解率は高くても、表記形式が変わっただけでモデルが混乱する隠れた課題があります。
arXivで公開された論文では、5つの表記変換ファミリーを対象に3,600問の有理数問題と8,600個のプロンプトを生成し、5つのオープンウェイトモデルを評価しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
論文ではLLM判定を使わず固定構文監査で回答形式を正規化し、正答率に加えて軌道正答率と軌道不変性を指標にしています。
表記の揺れを一度統一してから比較するんですね!
実際の数値結果はどのくらいだったんですか?
正答率は0.969から0.996と高いですが、軌道不変性は0.851から0.981まで低下します。
従来手法と比べるとどのくらい差が出るんですか?
単純な構文チェックだけでは見逃す不変性欠如が顕著で、Mistral Small 4は単位変換入力で0.699スコアに留まり、10の冪乗分の265誤答を生成しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。評価側の数値文法定義が実装範囲外だった場合、モデルの能力不足ではなくインターフェース設計の問題として隠蔽されます。
実際の試し方はどうすればいいんですか?
論文に付属するアーカイブからフローズンベンチマークと評価コードをダウンロードし、ワンコマンドでビルドできます。
モデルの検証結果は、5つのオープンウェイトシステムについて行われています。
表現の揺れに左右されない堅牢なモデル開発が進みますね!
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。