複雑なタスクの計画を改善する GRASP、推論モデルを凌駕する話

論文

複雑なタスクの計画を改善する GRASP、推論モデルを凌駕する話

スポンサーリンク

GRASPが、厳格なマクロ正則化で GPT-5-mini を 14.5% 上回る精度を出した。

この記事のポイント

  • 複雑な計画生成でLLMの信頼性は低下する
  • 文脈分離とマクロ正則化で計画を構築・評価する
  • 推論モデルを上回るが、条件付きで限定される

どこで使えるか

複雑な計画を段階的に検証したい人向け。文脈分離で精度低下を防ぐ 論文公開済み(arXiv) コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

LLMってタスクが複雑になるほど精度が落ちますよね?
確かにその傾向はありますが、複雑タスクでも高品質な計画を生成する手法がarXivで発表されました。
既存の直接推論型プランナーって、結局タスク数が増えると一気に破綻しますよね?
その通りで、コンテキストが溢れるとデコード品質が急落する現場の壁が課題でした。
GRASPという戦略意識型マルチステージ計画フレームワークが提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
計画パイプラインを工場ラインのように専門モジュールが役割分担します。まずGenPlanでグローバル指針を事前コンパイルし、RevPlanで隔離された窓内で局所戦略を探索し、VerPlanが軌道を独立評価します。
各モジュールが独立して動けば、メモリ競合も起きにくいですね!
各モジュールが独立して動けば、メモリ競合も起きにくいですね!
実際の数値での改善効果はどのくらいなんですか?
直接推論型プランナーを大きく上回り、Natural Plan Calendar Schedulingで約12.4%、ZebraLogicで約30.8%の精度向上を達成しています。
複数タスクを同時並行で回した時の差はどれくらいなんですか?
交錯型二重タスク環境では最大16.7%の絶対精度差が開き、最先端推論モデルのGPT-5-miniをも14.5%上回る結果です。
でも、コンテキストを隔離して厳格な正則化を強制するだけなら、結局根本的な解決にはなっていないんじゃないですか?
確かにその制約はあります。モジュール間の調整コストと専用メモリ確保のオーバーヘッドは認めますが、複雑タスクにおける劣化防止という点では有効です。
実際の試し方についての質問ですが、コードは公開されていますか?
論文付属のリポジトリから再現可能です。まずはベンチマーク環境で各モジュールの設定を変えて試してみてください。
ベンチマークでは直接LLMプランナーより大幅な精度向上を確認しました。
多様なデータセットで新たなSOTAを確立しています!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文