LLMグループの合意率は人間を最大44ポイント過大評価する
この記事のポイント
- 100組の人間グループをLLMで再演
- スコアリング手法を同じコードで統一
- 差は早期打ち切りなしでも持続
どこで使えるか
シミュレーション結果を人間集団の指標として使う人向け。参加条件の定義に注意する コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Tengfei Shao さんの論文で、大規模言語モデルのグループが人間の討論を再現したとき、合意率が実際より高く出ることが分かったと伝えられています。100 組の人間のグループと大規模言語モデルのグループを同じ問題で比較し、人間の合意率はスコアの見方で 24.0% から 57.0% だったのに対し、模型のグループは 34.0 から 44.4 ポイントも高く出たと報告しています。
合意率が 34.0 から 44.4 ポイントも違うんですか。人間のグループではおよそ 5 人に 1 人が発言しなかったそうですが、模型側は全員が必ず答えるんですか。
はい。模型側はほぼ全員が回答を出します。人間と模型で同じコードで採点したところ、発言の有無という違いだけで合意率の差が生まれていました。さらに問題の正解を暗記しやすい形にすると差は縮まず、推論モードの模型はほぼ全員が同じ答えに達しましたが、そのほとんどが不正解でした。
推論モードでほぼ全員が同じ間違いをするんですか。模型同士が討論しているうちに、最初に出した答えを信じ込む方向にだけ動くんですか。
正確にはその通りです。推論モードは模型が答えを導くまでに考えるステップを増やす機能です。人間のグループで時間をかけて議論するのと同じですが、模型の場合は最初に出した答えを疑わず、他の意見を見ずに同じ結論に達する状態に近いです。模型も同じで、合意しただけでは正解にたどり着けているか測れません。
では、合意率だけで模型の性能を測れないと。模型を人間の代理として使う場合、模型のどこを比較するのが正しいんですか。
論文では採点のルールを明確に分ける必要があると指摘しています。人間のグループではおよそ 5 人に 1 人が発言を省略するため、模型側も発言を省略する条件を用意して比較するか、人間の発言者を模型だけ選んで同じ条件で測るかの二通りで検証しました。どちらのルートでも差は 0.5 ポイント以内で収まりました。
条件を揃えても 34.0 ポイント以上開くんですか。模型側が最初に出す答えの幅は、人間の答えの幅とどれくらい違うんですか。
そこが模型側の偏りです。模型は人間の答えの分布を正確に再現できておらず、特定の答えに偏って出ます。模型同士で合意した結果を人間の討論の結果と見なすと、実際より合意が高い上に正解率も伴わないため、評価の指標として使えません。
模型同士で討論させる実験自体に意味はないんですか。
実験そのものの意味はなくありません。模型が人間の答えをどのくらい歪めて出すかを知ることで、模型を人間の代理として使うときの限界が見えてきます。模型の集団推論を人間の討論の代わりとする研究がある場合、最初の答えの偏りを補正するか、合意率を信頼しない評価軸を別途作る必要があります。
最後に、最初の偏りを補正する具体的な方法は、まだ示されていないんですか。
要旨には「模型の偏りをどう補正するかは今後の検討課題」という記述はなく、また「合意率だけで判断しない評価軸をどう作るかが次の課題」という将来の課題についても言及がない。要旨は本研究の分析結果と意義を述べているに過ぎない。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。