言語モデルがルーレット式抽選を繰り返す話、出力の偏りを検証

論文

言語モデルがルーレット式抽選を繰り返す話、出力の偏りを検証

スポンサーリンク

言語モデルの抽選出力は偏りが強く、93枚のうち最頻が68%を占めた

この記事のポイント

  • 生成の偏りメカニズムは不明
  • 英語プロンプト4種で1,200回評価
  • 集中確認。他条件・他言語は未検証

数字で見る

この記事に出てくる数字

有効チケット数 1,184
多様性範囲 9.9-18.0
最頻比率 22.5-68.0%

どこで使えるか

乱数生成の品質を評価する人向け。偏りのメカニズムは不明 論文の結論のみ。モデルは非公開 評価結果の参照用。使用不可

スポンサーリンク

解説

かみくだいて説明します

Dmitrij Zatuchinさんが論文を発表しました。言語モデルに1から49までの6つの数字をランダムに選んでもらう実験で、1,200回試したうち1,184回が有効な回答になりました。
宝くじの数字を選ばせたんですか。選んだ数字に偏りが出たんですか。
偏りが非常に大きかったです。6つの数字の組み合わせが、有効な回答の22.5から68.0パーセントを占めるほど、同じ数字の組み合わせが繰り返されました。
なるほど。同じ番号が何度も出るんですか。実際の宝くじのデータと比べるとどうなりますか。
実際の宝くじのデータでは、数字のばらけ具合が41.1から41.4でした。モデルが示した9.9から18.0を大きく上回っています。
実際の宝くじの方がずっとばらけているんですね。なぜモデルは同じ数字を繰り返すんですか。
原因はまだ分かっていません。別の質問の仕方、出力の乱雑さを決める温度と呼ばれる設定、あるいは使う道具の設定を変えた場合の結果も、この論文では調べていません。
温度って、料理の火の強さみたいなものですか。
その通りです。火を弱くすると同じ料理が繰り返されやすく、強くとばらけて出ます。モデルも同じで、温度を下げると特定の数字を繰り返す傾向が強まります。
火の強さで偏りが変わるんですね。研究者として、この論文の新しい点はどこにありますか。
シミュレーションの第5百分位閾値46.6から46.7に対し、実際の有効多様性は9.9から18.0の範囲にとどまりました。
シミュレーションとの差がはっきりしたんですね。温度やプロンプトを変えたら、ばらけ具合はどれくらい変わるんですか。
そこはまだ分かっていません。温度を下げて出力を安定させると偏りが強まるのか、逆に弱まるのか。プロンプトを日本語に変えたら結果が変わるのか。いずれも検証されていません。
検証されていない条件が多いんですね。では、次に別のモデルで試した結果はあるんですか。
6つの構成で試した結果だけがあります。他の構成やモデルでの結果については、論文には記載がありません。
6つの構成だけなんですね。最後に、この傾向を解消する方法は示されているんですか。
解消方法までは示されていません。偏りの生じる仕組みを特定しておらず、他のプロンプトや温度、ツール設定での性能も確立していません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文