投資ファクターを提案するLLMエージェントに、結果で判定する裁判官を組み合わせた話

論文

投資ファクターを提案するLLMエージェントに、結果で判定する裁判官を組み合わせた話

スポンサーリンク

Propose, Don't Judge の裁判官は、スクリプト提案者の場合、不正採用が5〜11倍少なくなる

この記事のポイント

  • どの判定者が誤りを許すか不明だった
  • 提案と判定を分離した裁判官を設計
  • 真因子の判別は遅いが誤認は減る

数字で見る

この記事に出てくる数字

真因子待機日数 約500日

どこで使えるか

エージェントの提案を審査役で絞りたい人向け。判定は外部モデルに委ねる arXivで論文公開済み コード・データは記載なし。検証は合成環境・CSI 500限定

スポンサーリンク

解説

かみくだいて説明します

LLMエージェントが投資因子の研究を丸ごと自動化する時代ですが、全部任せて大丈夫なんですか?
確かに、提案からバックテスト、採用、廃止まで一貫して行う事例が増えますが、判断基準をどう設計するかが課題です。
従来の統計検定だと、何度も試行しているうちに偽陽性が増えませんか?
その通りで、データマイニングの現場では多重比較問題が常につきまとい、実戦投入時にパフォーマンスが急落するリスクは確実に存在します。
arXivで公開された本論文は、エージェントに提案権を委ね、凍結された統計審判役が判定するガバナンス型自己進化を提案しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
審判役は提出後に市場が公開する結果だけを見てベットで採点し、任意の時点で停止しても偽発見率の保証が成り立つ設計です。
提出後の市場結果だけで採点するから、任意の時点で停止しても偽発見率の保証が成り立つんですか?
統計的審判官は凍結されていて触れず、提出後の市場結果だけで採点するんですか?
実際の検証で、どれくらい偽の因子を減らせるんですか?
脚本型提案者で比較した結果、凍結審判役はリーキーな審判役に対し、5-11倍少ない因子しか採用しませんでした。
提案側がLLMになっても、その差は埋まらないんですか?
埋まりません。提案者は利回りを左右し、LLMがスクリプトを上回り、独自診断プローブの作成能力でバンディットに追いつきますが、判定の厳格さは審判役の設計次第です。
でも、判定だけを厳しくしただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りで、真の因子が承認されるまで約500営業日の待機が必要となり、認定ポートフォリオのシャープレシオはゲートなしの実装を下回ります。
実際のプロトコルを自分で試すにはどうすればいいんですか?
合成世界、プローブ作成環境、CSI 500の10年ウォークフォワードで検証できますが、どの提案者が結果を左右するんですか?
合成世界の検証結果では、判定者が誤認の数を5〜11倍減らすことが示されています。
判定は手順に属し、提案と道具作りはエージェントに任せる、という結論が得られました。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文