LLM エージェントの探索を拡張する「忘却」の手法、並列実行と比較

論文

LLM エージェントの探索を拡張する「忘却」の手法、並列実行と比較

スポンサーリンク

忘却付きエージェントが並列より最大15%、単一より39%改善。

この記事のポイント

  • 並列や通信でも成果が頭打ちになる
  • セッションを捨てて再スタートさせる
  • 最大15%向上。ただしタスク4つだけ

数字で見る

この記事に出てくる数字

タスク数 4

どこで使えるか

探索が頭打ちになる人向け。セッションを捨てて再スタートさせる コードの公開は記載なし 提案手法の検証結果

スポンサーリンク

解説

かみくだいて説明します

Shangyin Tanらのチームが、2026年10月15日にarXivへ発表した論文で、大量の文章やコードを学習した大規模言語モデルを使った自動研究システムについて報告しました。過去の試行記録を定期的にリセットすることで、性能を最大39%引き上げられることを実証したものです。
過去の記録を消すことで良くなるんですか? 研究している人から見ると、どこが新しい発見だったんですか?
従来は並列で動かすことや、複数のプログラムに会話させたりする手法がありましたが、どれも記録が溜まるにつれて頭打ちになることが分かっていました。学習したプログラムが、まるで過去の正解ノートに縛られて新しい解法を探せなくなるような状態で、追加のリソースを投じても改善が止まってしまうのです。
なるほど、正解ノートに縛られる感じですね。では、リセットするタイミングはどのように決めるんですか?
論文では探索の状態や候補の履歴を定期的に破棄し、見つかった最高の結果だけを次のスタート地点に残す仕組みを実装しています。ヒューリスティックなプログラミング、カーネルの最適化、モデルの訓練などの4つの課題で評価した結果、並列グループに比べて最大15%、単体プログラムに比べて最大39%の向上を確認しました。
15%と39%の差は、仕組みの違いから来るんですか。作る人として、手元で動かすのに何が必要になりますか。
公開されているコードや設定手順については論文に明記されています。ただし、このリセット手法は計算資源の使い方を変えるものなので、既存のシステムに組み込む場合、メモリ管理の部分を少し書き換える必要が出てきます。
なるほど、組み込みには少し手間が要るんですね。では、このリセットを繰り返すことで、計算量自体は増えるんですか。
計算量は同じ予算の範囲内で収まります。むしろ同じ予算でより良い結果を出せるので、同じ性能を得るためのコストは下がる見込みです。プログラムが何を覚えるかが、どれだけ計算できるかと同等に重要だという結論になります。
計算量は増えないんですね。では、他の分野のプログラムにも使えるんですか。
4つのタスクで記憶の蓄積が頭打ちを招くとわかったので、何を覚えさせるかが計算量と同じくらい発見の広がりを左右すると見ています。
最後に、この手法を実践で使う場合、一番気をつける点はどこになりますか。
定期的に検索状態を破棄し、見つけた最良の候補から再起動することが重要です。これにより、エージェントが過去の試みに縛られず、同じ予算でさらに探索を進めることができます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文