Wikipedia Game でモデルのナビゲーションを測る研究、実用レベルか

論文

Wikipedia Game でモデルのナビゲーションを測る研究、実用レベルか

スポンサーリンク

GPT-o3 miniらがWikipedia Gameで人間と同等の成績を収めた

この記事のポイント

  • 言語モデルのナビゲーション能力が不明だった
  • 5言語5データセットでグラフを構築し評価した
  • GPT-o3 mini等が人並み。ただし分野により差あり

数字で見る

この記事に出てくる数字

言語数 5

どこで使えるか

Wikipedia Gameで検索スキルを試したい人向け。多言語・分野で差が出る点を踏まえて評価する コードの公開は記載なし OpenAlex利用、API不要

スポンサーリンク

解説

かみくだいて説明します

Alexander Hickeyらの研究チームが、言語モデルがウィキペディアゲームをプレイできるかを調べた論文を2026年10月10日に公開しました。ゲームのルールは、記事のリンクだけをたどって目標の記事にたどり着くことです。
リンクをたどるだけなんですね。では、調べられたモデルには具体的にどのようなものがあるんですか?
GPT-o3 mini、GPT-4o、QwQ:32B、DeepSeek-R1:70B といった最新のモデルに加え、文章を数値データに変換する埋め込みモデルも比較しました。対象は5つの言語のウィキペディアと、5つの学術文献データベースです。
5つの言語と文献ですね。埋め込みモデルはどういう仕組みなんですか?
文章を意味の近い数値の並びに置き換える手法です。例えば、猫と犬は近い数字になり、猫と自動車は遠い数字になるイメージです。この数値の距離を使って、記事同士の関連度を計算します。
数字の距離で関連を見るんですね。研究する人から見ると、どこが新しいんですか?
第三者のサービスに頼らず、手元のコンピュータだけでグラフを構築し、モデルを動かせるコードを公開した点です。これまでは外部のAPIに接続する必要がありましたが、今回用意したローカルの仕組みを使えば、論文の引用関係もウィキペディアの記事リンクも自由に調べられます。
外部のサービスなしで動かせると。結果はどうだったんですか?
最も性能が良いモデルでも、人間の成功率を大きく上回る結果にはなりませんでした。GPT-o3 mini や DeepSeek-R1:70B は人間と同等の成功率を記録しましたが、言語やテーマによって順位が入れ替わる傾向が見られました。
言語やテーマで差が出るんですね。では、実務でこの技術を組み込む技術者にとって、何が重要になりますか?
要旨には、モデルの性能や順位が言語やトピックによって変化したとあり、実務家への示唆が述べられています。公開コードで自前のデータセットでも評価可能です。
最後に、今後の展開についてどう見ますか。
言語モデルのナビゲーション能力は、分野や言語によって差があることが明確になりました。どのモデルが最適な選択になるかは、対象とするデータセット次第です。そこはまだ一概には言えません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文