Qwen2.5-1.5Bと7BでRLの問い合わせを減らす手法、コストを考慮した制御

論文

Qwen2.5-1.5Bと7BでRLの問い合わせを減らす手法、コストを考慮した制御

スポンサーリンク

Qwen2.5-1.5Bと7BがRLの問い合わせを97%以上減らし、GoToObjの成績を改善した。

この記事のポイント

  • LM助言の呼び出しは高コスト
  • 応答を予測して信頼区間が費用
  • GoToObjで問い合わせを97%削減

数字で見る

この記事に出てくる数字

削減率 97%
GoToObj改善 0.030
Mondrian改善 0.85

どこで使えるか

RLでLM助言のコストを抑えたい人向け。GoToObjの成績を改善しつつ問い合わせを97%削減。 arXivで公開済み

スポンサーリンク

解説

かみくだいて説明します

LLMの助言を強化学習に組み込む研究が増えますが、呼び出しコストが膨大で返ってくる行動が古い場合もありますよね?
確かにその通りです。コストと精度のトレードオフが現場の壁になっています。
既存のアプローチは常に呼び出すナイーブな実装が主流でしたよね?
はい、常に呼び出す方式は計算リソースを圧迫し、モデルのオーバーヘッドが無視できない状況です。
arXivに公開された本論文では、予測価値に基づくゲート制御で呼び出しを賢く選別する手法が提案されています。
そのアプローチって、具体的にはどういう仕組みなんですか?
コントローラーが返答を予測し、各応答に伴う意思決定の価値とコストを比較します。信頼区間の下回りが価格コストを上回る場合のみ呼び出しを実行し、実行段階では行動ごとの証明書で安全性を保証します。
予測と証明の二段構えで無駄な通信を排除する設計なんですね!
アドバイス取得を応答依存のメタ推論問題として定式化し、照会前に予測と評価を行っています。
実際の改善効果はどの程度あるんですか?
BabyAI環境での実験では、Qwen2.5-1.5Bと7Bのアドバイザーを用いた場合、GoToObjタスクの報酬がそれぞれ0.029と0.030向上し、呼び出し回数は常時呼び出し比で97%以上削減しています。
GoToObjタスクでは0.03程度の報酬向上が確認されています。
決定に関連する経験的カバレッジは0.47から0.85に改善していますが、目標の0.90には届いていないのが現状です。
でも、特定のタスクに最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。形式的に保証される半径が実質的に空であり、状態ごとの配置優位性が証明されたわけではないため、汎用性にはまだ課題が残ります。
実際の試し方はどうすればいいんですか?
公開コードはGitHubで入手可能です。Qwen2.5シリーズをローカルに展開し、ゲート制御パラメータを調整してからBabyAI環境でベンチマークを回してみてください。
検証範囲は限定的ですが、コスト意識のあるLLM連携の指針として今後の拡張が期待できます。
コストと精度の両立を目指す新しい枠組みが、さらに発展していくことを楽しみにしています!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文