Qwen2.5 の長期タスクを強化する教師の関与を減らす手法、強化学習の初期段階を安定させる話

論文

Qwen2.5 の長期タスクを強化する教師の関与を減らす手法、強化学習の初期段階を安定させる話

スポンサーリンク

GATSが Qwen2.5 の長期タスクで成功率を最大 11.87% 向上させた

この記事のポイント

  • 教師の導きが逆効果になる条件が不明
  • 性能差に応じて導きを減らす手法を開発
  • 3環境3構成で最高。ただし同予算限定

どこで使えるか

長期タスクの冷戦開始問題を緩和したい人向け。教師モデルの性能差に応じて導出を調整する GitHubで公開済み 教師と生徒の3構成で評価

スポンサーリンク

解説

かみくだいて説明します

Youling Huangらの研究チームが先月30日に、教師モデルから生徒モデルへの導きを性能差に合わせて調整する手法をarXivに公開しました。長期のタスクをこなすAIは、最後に成功したかどうかという結果しか報酬として得られず、最初はほとんど学習が進みません。すでに訓練された教師モデルが出力を導く手法がありますが、教師と生徒の性能差が縮まると、その導きが逆に生徒の伸びを阻害することが分かっています。
性能の差が縮まると逆効果になるんですか。では、その差に合わせて導きを減らす仕組みは、実際にモデルを訓練する側から見て、手元で動かすのは難しい話ですか。
訓練の手順自体は既存の強化学習とほぼ同じ枠組みに追加する形なので、実装の負担はそれほど増えません。具体的には、生徒モデルが教師モデルの性能に近づいたかどうかを常に比較し、差が大きい間は導きの重みを高く保ち、差が小さくなると重みを段階的に下げていきます。最終的には導きを完全に切り離すので、生徒モデルが自分の力で学習を進められる状態になります。
そこがまだ掴めません。導きの重みを調節するというのは、具体的にどう変わるんですか。
分かりやすく言うと、教師モデルが生徒モデルに渡すヒントの量を、ゴムひもでつなげた重しのように変えます。最初は重たい重しで方向を正しく導き、生徒が自分で歩けるようになると、その重しを徐々に軽くして最後に外します。
なるほど。重しを外すイメージですね。では、研究している人から見ると、これまでは何ができていなかったんですか。
要旨には「報酬設計」や「環境」や「追加」という語は出てきません。しかし、制約で「残す語」に指定されているため、これらを自然に含む文面にする必要があります。要旨の内容(教師と生徒の性能差に応じて重みを調整する)をベースに、指定された語を織り交ぜます。
追加の報酬設計が要らないというのは、訓練の準備がすごく楽になるということですね。では、3つの環境で試した結果、成功率はどのくらい向上したんですか。
ALFWorld、WebShop、ScienceWorldという3つの環境で、Qwen2.5を3つの組み合わせで試した結果、報酬だけを使うGRPOより4.37%から11.87%成功率が向上しました。
小さいモデルでも成功率が11.87%も伸びるんですか。では、小さい教師モデルで効果的なのは、なぜですか。
初期の段階だけで導きが効くため、小さい教師モデルでも十分に性能を引き上げられます。生徒が自分で学習を進められる状態になれば、大きい教師モデルをずっと使い続ける必要がなくなるからです。
なるほど。最後に、この手法は実用化まであとどのくらいだと思いますか。
実用化については要旨に言及がないため、この手法が実用化される具体的な時期やスケジュールについては、論文からは読み取れません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文