Ontology-Grounded Generation の正答率を測る Copy Ceiling、推論評価の基準

論文

Ontology-Grounded Generation の正答率を測る Copy Ceiling、推論評価の基準

スポンサーリンク

Ontology-Grounded Generationの正答率97.1%は423観測の推定値。推論は立っていない

この記事のポイント

  • 文脈が答えを露呈している
  • 露呈と回答を分類する手法
  • 11,360件中3件。ただし推論は不明

どこで使えるか

正答率を疑う人向け。モデルが文脈をなぞっているだけか確認したい arXivで公開済み 評価指標の算出ロジックは論文記載

動画を見る

スポンサーリンク

解説

かみくだいて説明します

検索して取得したグラフ構造から回答を生成する際、再現率が跳ね上がっても、モデルが本当に構造的な推論をしているわけではないですよね?
確かにその通りです。取得した文脈に正解が既に露出している状態で、モデルが暗記や写し取りで高再現率を達成しているケースが非常に増えますが、これは構造的な理解とは別問題です。
だとすると、私たちが単なるコピペと本当の推論を区別する評価指標を欲しくなるのは当然なんですけど?
その通りです。従来の評価は正解との文字列一致だけで済ませてしまいがちですが、文脈が答えを既に提示しているかどうかを厳密に管理する仕組みが現場では不可欠です。
今回arXivで公開された論文は、この問題に対処するexposure accountingという手法を提案しています。
exposure accountingって、具体的にはどういう仕組みなんですか?
各正解項目について、提示された文脈がそれを既に露出しているか、モデルが実際に回答として引き出せたかの2軸で分類します。基準となるスカラー値はcopy ceilingと呼ばれるもので、文脈をそのまま写し取った場合の再現率を指します。これを実測値から差し引いたsigned gain over copyで、判定不要の基準線を作り出します。
写し取り上限を基準線にして、それ以下のスコアなら実質マイナス評価になるんですね!
その通りです。この手法は、正解の各項目が文脈にすでに出ていたか、答えに含まれたかを分類するもので、推論があったかどうかまでは判定しません。
実際のモデルで試した結果、数値上はどのくらい差が出たんですか?
10モデルで評価した結果、無援助時の再現率は平均0.26、グラウンド付き取得後は0.92に跳ね上がります。しかしcopy ceilingに対する符号付き利得は一律でマイナスとなり、-0.067から-0.022の範囲に収まります。
取得後の再現率が0.92もあるのに、実質的な性能はマイナス評価になるんですか?
そうです。11,360件の正解項目観測のうち、文脈が露出していない項目で言語学的信用を得られたのはたった3件だけです。露出していない対象では、無援助時の0.121からグラウンド付き取得後は0.004まで回復率が激減します。
でも、文脈露出の制御だけなら、結局根本的な解決にはなっていないんじゃないですか?
実際、文脈露出の管理枠組みは、文脈露出による偽陽性を排除する静的な制御であり、構造的推論が実際に起きたかどうかを証明するものではありません。
開発現場で私たちが実際に使う場合は、どう組み込めばいいんですか?
コーパス評価のstanding controlとしてexposure accountingが提案され、gold itemの露出と回答の回収を分類し、copy ceilingを基準にsigned gainを測定します。
答えが文脈に露出しているかを勘定するこの手法は、コーパス由来の評価に常に置くべき対照として支持されますが、推論が起きたかどうかまでは判定しません。
再現率の裏にある信頼性を排除するなら、モデル開発の恒久的な制御方法として確実に支持されることになりますね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文