時系列モデルの検証で訓練とテストの関係を制限する法則、因果性を保つ話

論文

時系列モデルの検証で訓練とテストの関係を制限する法則、因果性を保つ話

スポンサーリンク

時系列検証の不可能性三法則が証明され、訓練とテストの関係を制限する。

この記事のポイント

  • 検証に3要件の矛盾があった
  • 3要件のトレードオフを証明
  • シャッフル5分割は+0.32

数字で見る

この記事に出てくる数字

情報係数(シャッフル) +0.32
情報係数(連続) +0.004
folds数 5-fold

どこで使えるか

時系列検証の設計を正しく行いたい人向け。シャッフル分割の過大評価を避ける。 arXivで論文公開済み 数値はshuffled/contiguous 5-fold限定

スポンサーリンク

解説

かみくだいて説明します

時系列データのモデル評価では、過去から未来へのデータ分割が必須ですよね?
確かにその通りです。金融や需要予測では、未来の情報が漏れないように分割するのが鉄則になっています。
でも、学習データの量とテスト範囲の広さを両立させようとすると、どうしても時間的な因果律を犠牲にする場合があるんですよね?
その通りです。学習充分性、テスト被覆率、時間的因果性の三つは、数学的に同時に満たすことが不可能であることが証明されています。
arXivで公開された最新論文では、このトレードオフを保存則として定式化しています。
その保存則って、具体的にはどういう仕組みなんですか?
学習データ比率をアルファ、テスト被覆率をベータ、未来データの漏洩度をラムダと置くと、アルファとベータの合計はラムダを足した値を超えることができません。
つまり、因果律の境界線を超えてテスト範囲を広げようとすると、必ず未来の学習データを使わざるを得ないんですね!
その通りです。未来データの害は量ではなく、テスト点からの距離に依存します。
実際の数値でどれくらい差が出るんですか?
純粋なノイズデータで評価した結果、シャッフルした5分割交差検証の情報係数はプラス0.32になりますが、同じ未来データ量を使う連続5分割ではプラス0.004に留まります。
でも、 embargo付きの交差検証を導入しても、結局根本的な解決にはなっていないんじゃないですか?
その通りです。 embargoは距離コストで因果性を買い戻しますが、非定常性が強い環境では因果性の一部を修復しきれない限界があります。
現場で実際に試す場合は、どういった手順が現実的ですか?
拡張ウォークフォワード検証が因果検証のパレート最適解です。プロセスの記憶消失速度が速い場合は embargo付き分割が低コストで機能します。
検証規模には限界がありますが、この保存則を理解すれば、モデル評価の設計思想が根本から変わります。
数学的に境界が明確になったことで、より誠実なモデル開発が進みそうですね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文