RetireOPDがマルチターンエージェントの成功率を最大19%向上。
この記事のポイント
- 単一報酬のRLに密な教師信号を付与
- 教師の信頼性と恩恵は段階依存と判明
- ALFWorldで最大18.8%向上、教師を上回る
数字で見る
この記事に出てくる数字
| モデル規模 | 1.5B~7B |
|---|
どこで使えるか
自己教師の信頼性が不安定なマルチターン推論を安定させたい人向け。 arxivで公開済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Yan Yuらの研究チームが、AIエージェントの学習手法「RetireOPD」を提案しました。強化学習で複数の手順をこなすAIに、より詳しいAIが手本を見せて指導させる仕組みですが、指導するAIの情報が必ずしも正確とは限らない上、指導の効果が段階によって変わることを踏まえ、AI側で指導を自主的にやめる仕組みを提案しています。
詳しいAIが教えるのは分かりますが、なぜ途中で教えるのをやめる必要があるんですか。
詳しいAIの答えと生徒AIの答えの差がこれ以上縮まらなくなった時点で、生徒AIが自分で指導を打ち切るからです。目標の成功率に達したと判断した段階で強化学習だけに戻し、余計な指導による混乱を防ぎます。
差が縮まらなくなったら自分でやめるんですね。
生徒AIが自分でこなせたタスクの割合を、詳しいAIの割合で割った数値が目標の分数に達したら、指導をリタイアさせます。Qwen2.5の1.5Bから7Bまでのモデルで試したところ、ALFWorldの成功率は強化学習のみの baseline を上回る 14.1% から 18.8%、WebShop の正解率は 11.8% から 19.0% 伸びました。
19% 近く伸びたんですね。研究者から見ると、これまでの手法とどこが違いますか。
従来の手法は指導のスケジュールをあらかじめ決めていましたが、RetireOPD は生徒の成長具合に合わせて指導の強さを自分で変えます。専門用語では Adaptive Retirement と呼んでいます。
成長具合に合わせて変えるんですか。そこがまだ掴めません。
生徒がどれくらいできるようになったかを見て、教える頻度や内容を減らしていくことです。まるで練習試合で相手の強さを自分の実力に見合わせて調整するようなものです。
相手の強さを見て調整する感じですね。組み込む技術者から見ると、既存のシステムに追加するだけで動きますか。
詳しいAIを環境の報酬だけで最初に訓練し、そのあと生徒AIを強化学習と指導を同時に使って訓練する二段階の形です。モデルの大きさを変えても、詳しいAIの成績を毎回上回る結果が出ています。
二段階で訓練するんですね。どこがまだ解けていないんですか。
最適値の段階的な決定はまだ必要ですが、Qwen2.5 1.5Bから7BモデルでALFWorldやWebShopでの成功率向上が確認されています。
まだ最適値が決まっていないんですね。
教師の成功率に対する目標比率に達したら、教師をリタイアさせてRLだけで学習を進めます。
出典
この記事のもとになった情報
- arXiv:RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
- 公開日:2026-09-18
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。