環境の出力も学習に使う ActObs、強化学習でのエージェントの探索を改善する話

論文

環境の出力も学習に使う ActObs、強化学習でのエージェントの探索を改善する話

スポンサーリンク

ActObsが、強化学習でのエージェントの探索を改善。Qwen3-4B で pass@k が上昇。

この記事のポイント

  • 行動のみを教師信号としていた
  • 観測も同時に教師信号にする
  • SFT段階で環境予測が劣化

数字で見る

この記事に出てくる数字

モデル規模 4B

どこで使えるか

強化学習で探索能力を上げたい人向け。SFTの段階から環境予測を維持できる 論文記載なし。コード公開の記載なし SFTとGRPOの組み合わせで検証済み

スポンサーリンク

解説

かみくだいて説明します

Juzheng Zhangらの研究チームが、arXivに論文を発表しました。AIエージェントが行動する際、環境からの返答を予測させる新たな学習手法「ActObs」を開発し、強化学習後のタスク成功率が最大およそ4ポイント向上したことを示しました。
環境からの返答まで一緒に学習するんですか。作る側にとって、データを追加する手間が増える話ですか。
追加の手間はゼロです。既存のデータに環境の返答のラベルが元から含まれているため、モデルの大きさも計算量も変えずに、予測対象に観察結果を加えるだけです。
既存のデータに元から入っているんですね。研究する人から見ると、従来の手法とどこが違いますか。
そうです。従来の手法は行動だけを正解として扱い、環境の返答は文脈として扱うため、学習が進むと行動の修正方向と環境の修正方向が異なる方向を向いてしまいます。ActObsは両方を同時に正解にするため、そのズレを防ぎます。
方向がズレるのを防ぐんですね。そこがまだ掴めません。日常の何に例えられますか。
野球のバッターがボールを打つイメージです。従来の手法は打った後のボールの軌道を見ずに振りを修正しますが、ActObsは軌道も一緒に見るため、次の打席でボールを捉えやすくなります。
軌道も見ながら修正するんですか。数値でどれくらい変わるんですか。
Qwen3の8Bモデルでは、1回試行の正確さは少し下がりますが、16回試行での成功率が3.4ポイント向上し、SFTやRLで見たことのない未知のコード修正タスクでも4.2ポイント向上しています。
未知のコード修正でも上がるんですね。使う側にとって、同じ回数でより多くのタスクをこなせるんですか。
試行回数を増やしたときに正解が出る割合が上がります。コード修正の現場では、何度試しても同じミスが出る悩みが減り、同じ回数でより多くのタスクをこなせるようになります。
同じ回数でより多くのタスクをこなせるんですね。最後に、この手法が実用になるのはいつ頃ですか。
SFTと強化学習の両方で環境予測能力を維持し、最終ポリシーが初期状態に近いままなので、次の学習ステップを積み重ねやすい構造になっています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文