LLMの社会的知能を測るPerSo、Redditの議論データで説得能力を評価

論文

LLMの社会的知能を測るPerSo、Redditの議論データで説得能力を評価

スポンサーリンク

PerSoが LLM の社会的知能を測定。行動タスクでは最大のモデルが人間をわずかに上回り、認知タスクでは人間が先行した。

この記事のポイント

  • 合成シナリオで分けて測っていた
  • Redditの投稿から実会話ベンチを構築
  • 最大モデルが行動で人間超え。認知は人間が上

数字で見る

この記事に出てくる数字

評価データ Reddit

どこで使えるか

社会的知能を行動と認知で分けて測りたい人向け。実会話データで評価できる。 論文のベンチマークとして公開 Reddit ChangeMyViewコミュニティのデータを使用

スポンサーリンク

解説

かみくだいて説明します

Ali Zamaniらの研究チームが2026年10月15日にarXivへPerSoというベンチマークを公開しました。RedditのChangeMyViewコミュニティにある実際の説得のやり取りを使い、大規模言語モデルの社会的知能を測るものです。社会的知能は、相手の気持ちを推測する認知の側面と、推測した上で適切な行動を選ぶ行動の側面の二つから成ります。
実際の掲示板の会話で測るんですね。人工のシナリオと比べて、どこが新しくなりますか。
従来は別々に測っていましたが、PerSoは説得という自然な場面ですべてを同時に評価します。相手の頭の中を想像するのが認知で、行動の側面は、その想像を基にどう言葉を選んで相手を動かすかです。友達が迷っている選択肢に対して、相手の性格や立場を汲み取った上で、一番しっくりくるアドバイスの出し方を選ぶようなものです。
なるほど。では、LLMをパイプラインの中に入れるというのは、具体的にどうやるんですか。
自動でタスクの骨組みを作り、人間の目で確かめる作業を効率化する仕組みです。規模が大きくなるほど成績は上がりますが、次元によって差が出ます。行動タスクでは最も強いモデルが人間の最高記録をわずかに上回り、認知タスクでは人間の参加者がまだ先を行っています。
作る側から見ると、手元で動かせるかが気になります。
そこはまだ分かっていません。ただ、モデルの規模と成績の相関がはっきり出ている点は、開発の指針になります。
確かに。使う側で見ると、実務でどれくらい役立ちますか。
最強のAIは説得する行動では最も上手な人に近づいたが、相手の心を読む力ではまだ人に及ばない。
行動タスクで人間を越えたんですね。では、認知で人間が勝っている理由はどこにありますか。
認知タスクでは最善の人間参加者が最善のLLMを上回っています。データの種類や量で差が出るのでしょうか。
なるほど。では、次はデータの種類について教えてください。
実世界の説得対話データセットです。RedditのChangeMyViewコミュニティから収集したものです。
最後に、今後どこが解ける見込みですか。
規模拡大で性能は向上しますが、認知タスクでは人間の最高成績に及ばず、行動タスクでもLLMが僅かに上回る程度です。
あわせて、先月にはLLMの社会的推論能力を評価・研究するためのベンチマーク・フレームワークの提案に取り組む別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文