Draft-Verify-Revise で指す先がずれる。GPT-5.2 は推論で 0.94 に回復。
この記事のポイント
- 3段階のLLM連携で指示語の指す内容が変わる
- 6モデル21条件で推論努力量を変えて測った
- 表面の手がかりに頼る傾向が誤りの原因
数字で見る
この記事に出てくる数字
| 合成データ数 | 10 base |
|---|---|
| テストモデル数 | 6 models |
どこで使えるか
DVR パイプで指す先がずれる問題に対応したい人向け。推論努力量で精度が変動する arXivで論文公開済み GPT-5.2とGemini 3 Proのベンチマーク結果あり
スポンサーリンク
解説
かみくだいて説明します
Obinna I. Ekekezie 氏が公開した論文によりますと、3 つの AI を順に使って文章を書き、確認し、修正する仕組みで、文脈に依存する言葉の指す内容が途中で変わってしまう現象が確認されました。
3 つの AI を使っていくうちに、前の文章を指す言葉の意味が変わってしまうんですね。
はい。最初の AI が「先ほどのデータ」と書いたとして、次の AI がそれを別のデータと勘違いして、さらに次の AI がその勘違いを修正するかどうかを測った実験です。
なるほど。修正する側の AI が、どれくらい考える力を使えば正しく直せるのかを調べたわけですね。現場でこの仕組みを組み込む技術者から見ると、どの程度の計算量が必要になるんですか。
考えさせる度合いを 21 段階で試した結果、GPT-5.2 は考える力を全く使わない状態で正解率が 0.156 でしたが、最大まで考えさせると 0.942 まで上がりました。
GPT-5.2 は考えるほど精度が上がるんですね。では、他のモデルはどうだったんですか。
Gemini 3 Pro は推論レベルごとに 0.94 を上回りました。低めの推論レベルで GPT-5.2 が最大限考えた結果を上回り、1 回あたりの費用は GPT-5.2 のおよそ 5% でした。
費用を抑えながら高い精度が出せるのは大きいですね。ただ、間違える場合は表面の言葉だけを見て判断しやすいという話でしたが、これを防ぐ具体的な方法はありますか。
研究チームは、仕組みを作る側が各段階で指す内容を明確に決めておく必要があると指摘しています。AI 同士で言葉を暗黙のうちに共有するのを期待しないということです。
つまり、AI 同士で勝手に意味を共有させず、毎回はっきり指示を出せばいいわけですね。
正確にはその通りです。確認役の AI が間違えたケースの多くは、論理的な推測ではなく文面の表面的な手がかりに頼っていたため、明示的な指示が有効になるという結果です。
最後に、この仕組みをさらに発展させる上で、何がまだ解けていないんですか。
今回使ったのは 10 個の基礎例題だけなので、より複雑な文章や異なる分野のタスクにどれだけ適用できるかは、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。