LLM-as-Judgeの判定結果に家族効果が影響することが示された
この記事のポイント
- 9312件の判定で家族効果を検証
- 家族均衡基準で18.5%が変動
- AB/BAペアの55.4%が逆転
数字で見る
この記事に出てくる数字
| 判定数 | 9,312 |
|---|---|
| 同族リフト | 3.4-8.4pp |
| global FPS | 0.067 |
どこで使えるか
家族効果を測定し補正する作業向け。パネル構成変更で結果が変動する範囲を把握 コードの公開は記載なし 95% CI [0.053, 0.084]
スポンサーリンク
解説
かみくだいて説明します
arXivに論文を発表したDavid Ababio Awuniたち研究チームは、人工知能が他の人工知能を採点する際、審査役のモデルの系列が結果を大きく歪めることを、9,312件の判定データで明らかにしました。
審査役の系列が結果を歪めるというのは、同じ学校の出身者が審査員になるとその学校の生徒を甘く見てしまうような話ですか。
正確にはその通りで、審査役が自分の系列のモデルを平均して3.4から8.4ポイント高く評価する系列効果が確認されました。これは出身校の選手を有利に扱うようなもので、従来の統計手法ではこの系列効果とモデルの実力が混ざり合っていたため、研究チームは候補の系列を固定して審査役同士を比較する新しい推定式を導き出しました。
実力と混ざり合っていた部分が解けたというのは、審査モデルの選び方が変わるということですね。では、現場で使う際に最も気になる点はどこですか。
審査役のモデルが持つ生成確率の偏りは系列効果と密接に関連しており、補正に追加すると61%の記述的減衰を示しますが、これは因果的媒介ではなく説明される傾向として扱われます。
生成確率の偏りが61%を説明するというのは、残りのおよそ4割は別の要因で埋められるということですね。では、その残りの要因を防ぐ具体的な手順はどうなっていますか。
提示順の逆転が55.4%のペアで起きています。パネル構成の変化が判定結果の18.5%を左右していることになります。
では、提示順の逆転を避けるために、研究チームは実際の評価作業でどのような手順を提案していますか。
論文ではABとBAのペアを必ず対で用意し、系列バランスを取った基準パネルとの差分で校正する手順が示されています。完全な再現性アーカイブは公開に向けて準備中です。
公開されたアーカイブには、Llama 3.1やQwen 2.5といった4つの系列すべての判定データが含まれているということですね。
そうです。Llama 3.1、Qwen 2.5、Gemma 2、Yi 1.5の4系列すべてを含んだ完全交叉設計のデータ一式です。
4系列すべてを対で比較する設計だと必要な件数は膨大になりますが、9,312件でも統計的な差は出ているんですか。
系列効果の指標 0.067 について、95%信頼区間は0.053から0.084で、置換検定のp値が0.0002と出ているため、偶然の一致ではないと判断されています。
最後に、この校正手法が他の系列や新しいモデルが出たときにもそのまま使える見通しは、研究チームは示していますか。
論文では独立した人間の合意基準やfloat16での再現検証でも効果が確認されたと報告されていますが、未知の系列への適用範囲についてはそこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。