DeepSeek V4 Proは二次ドリフトを64.5%減らしたが、精度向上は確認できなかった
この記事のポイント
- 科学的説明が予測にどれだけ貢献するか不明だった
- 336状態と12エンドポインと24タスクで予測信用を測定
- V4Proはドリフトを減らしたがFlashでは限界
数字で見る
この記事に出てくる数字
| OpenMLタスク数 | 24 |
|---|---|
| 予測信用テスト数 | 5 |
どこで使えるか
実験予測に説明を付け加えても精度が下がらないか確認したい人向け 論文公開済み DeepSeek V4 Pro/Flash使用
スポンサーリンク
解説
かみくだいて説明します
arXiv に 2026-10-02 に出された論文です。研究エージェントが計画した実験の説明が、予測にどれだけ貢献するかを測る手法を報告しています。336 の予測状態と 12 の毒性評価指標、24 の機械学習タスクで検証し、全体的には説明の貢献は確認されませんでした。
全体的に確認されなかったんですね。説明を加えたのに予測が良ならなかった理由は何ですか。
予測の精度を測る指標で比較したところ、説明の有無による差が統計的な誤差の範囲内にとどまったからです。例えば天気予報で高気圧が接近するから晴れと言っても、気圧計の数値だけで晴れと当てるのと当たりの数が変わらないようなものです。毒性評価では D-M=-.0026 となり、95 percent interval は マイナス 0.0174 から 0.0104 の範囲でした。
差が統計的な誤差の範囲内だったんですね。では開発者から見ると、この手法は実際に使えそうですか。
特定のモデルでは改善が見られました。DeepSeek V4 Pro を使った場合、説明カードを加えると予測のズレを 64.5 percent と 59.1 percent 減らすことができました。ただし別の Flash 版モデルでは精度が下がり、結果が一貫しなかった点です。
逆に悪化したのは残念です。平均絶対誤差が .01823 から .02020 に広がったんですか。そこがまだ掴めません。
予測値と実際の値の差の平均です。例えば的当てで、的の中心から平均して 2 センチ外れていたのが 2.5 センチ外れるようになったイメージです。研究者が自分で仕組みを書いた場合は 2.60 percentage points 精度が上がりました。
研究者が自分で仕組みを書いた方が効くんですね。他の条件との差はどれくらいですか。
説明カードなしの基礎予測と比較すると、研究者版が最も精度が高かったです。OpenML のタスクでは予測区間の幅が 21 percent 広がりましたが、66/144 のカードで実際のデータが入る割合は 49.3 percent で、基礎予測の 51.4 percent よりやや低くなりました。
区間は広げたのに的中率は下がったんですね。実務では外れを避けるために幅を取る選択になるんですか。
実務では外れを避けるために幅を取る選択になるんですか。OpenMLでは80%区間が21%広がり的中率は49.3%でしたが、実務では的中率より区間の信頼度が重視される場面も多いです。ただし今回の検証範囲では、自然な説明の貢献度はまだ確認できていません。
最後に、この手法は今後の研究にどう活かされますか。
研究エージェントが予測を説明する基準を作る土台になります。ただし説明の質が予測に与える影響は、使ったモデルやタスクによって変わるため、どの条件で信用度を出せるかはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。