Qwen DeepSeekは未来の情報を覚えても、証拠集めで有利な会社に偏らなかった
この記事のポイント
- 外部証拠の期限切れ後も未来の事実を想起する
- 48件の企業比較で記憶と検索の関連を測定
- 逆相関が確認された。ただしメカニズムは不明
数字で見る
この記事に出てくる数字
| タスク数 | 48 |
|---|---|
| Qwenタスク | 28 |
どこで使えるか
未来の情報を覚えても証拠集めに偏らないことを確認したい人向け。 論文公開済み(arXiv) コード・モデルの公開記載なし
スポンサーリンク
解説
かみくだいて説明します
Rongtian Ye が 2026年10月14日に公開した研究です。言語モデルが外部資料の制限を守りながら、制限以降の事実を覚えてしまう現象を調べました。48社の歴史比較タスクで Qwen と DeepSeek に調べ物をさせたところ、予想と逆向きの結果が出ました。
資料は制限しているのに、モデル自体が制限以降の情報を覚えてしまうんですね。仕事でこの手のモデルを使う場合、調べた結果をそのまま使わない方がいいってことですか。
調べ物をさせる側の資料の割り当てを見ると、正しい方に資料を集めなかったんです。Qwen は 28のタスク、DeepSeek は 20のタスクで、どちらも正しい方向への割り当てがマイナスになりました。ただし最終的な答えのほうは、与えられた事実がある会社に寄る方向に動きました。
割り当てがマイナスって具体的にどうなるんですか。モデルがどこに目を通すかを選ぶ回数に関係するんですか。
DeepSeek の追試では、20件の課題で4指標とも逆方向を示し、区間はゼロ以下だった。
正しい資料より間違った資料を優先して読んでしまうんですね。技術者側からすると、これはモデルのバグとして修正できる話ですか、それとも根本的な設計の問題ですか。
根本的な設計の問題に近いですが、修正の方向性は明確になっていません。逆向きの傾向は p値が 0.05 未満で統計的に有意でした。明示的に未来の事実を提示した追加実験では、与えられた事実がある会社から離れる方向に小さなシフトが見られましたが、その幅は 0 をまたぐ範囲でした。
逆向きの傾向は統計的に確実だけど、理由はまだ分からないんですね。研究チームは仕組みの解明を今後の課題としています。
48のタスク全部で同じ傾向が出たわけではありません。不等recallの28タスクでQwenの推定が負、別の20タスクでDeepSeekの推定が逆向きでした。
記憶のアクセス可能性、検索の割り当て、最終的な出力を別々にチェックするんですね。
自然な逆向きの傾向がなぜ生じるかは、まだ解けていません。この結果は、記憶のアクセス可能性と検索の割り当て、最終的な出力を、資料の期限確認と並べて別々に評価することを支持しています。
研究者側からすると、どこがまだ解けていないんですか。
最後に、この評価枠組みが実際に導入される見通しはどうなっていますか。
具体的な導入時期や対象モデルについてはそこはまだ分かっていません。ただし制限以降の情報を扱う場面が増えるにつれて、分けて評価する必要性は高まると考えられます。
出典
この記事のもとになった情報
- arXiv:Auditing Future-Memory Use in Point-in-Time Language Agents
- 公開日:2026-10-14
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。