探索で有用なプロンプトを見極める EPS、多モーダル RL の学習効率を上げる話

論文

探索で有用なプロンプトを見極める EPS、多モーダル RL の学習効率を上げる話

スポンサーリンク

EPSが、多モーダル RL の学習効率を上げた。

この記事のポイント

  • 標準RLでは全プロンプトに均等予算を配分
  • 教師モデルでプロンプトを動的に書き換え
  • 同分布・外分布の両方で改善を確認

どこで使えるか

多モーダルRLでプロンプト配分を最適化したい人向け。教師模型で書き換え情報を増加 EPS-ProjectPageで公開済み Geo3K/MMK12でGRPO統合

動画を見る

スポンサーリンク

解説

かみくだいて説明します

マルチモーダル大規模言語モデルの強化学習におけるプロンプトの扱い方を変える手法が、2026 年 9 月 15 日に出されました。訓練時に使うプロンプトの難易度や情報量に偏りがあるのに、従来は同じ量の計算資源を割り当てていた問題を解決します。
なるほど、同じ量だと非効率ですね。そこで言うプロンプトの情報量をどう測るんですか。
論文では Exploration Potential Score、略して EPS という指標を使います。モデルがそのプロンプトを解く過程で出す統計データから、次にどれだけ学習に役立つかを軽く計算するものです。例えばテストの問題で、正解率が極端に高いものや極端に低いものは学習効果が薄いのに、ちょうどいい難易度の問題が最も成績が上がると同じ理屈です。
ちょうどいい難易度の問題を選ぶわけですね。ただ、難しすぎるプロンプトは捨ててしまうんですか。
捨てずに、教師モデルを使って書き換えます。元のタスクの意図は残したまま、次の訓練でより学びになるように文章を組み替える仕組みです。教師が答えを丸写しさせるのではなく、教材そのものを改良するイメージに近いものです。
では、その書き換えはどのくらいコストがかかりますか。
追加の計算コストは生じません。既存のモデルが実際に回答を生成したときの統計情報から直接算出できるため、別に重い処理を走らせる必要がありません。Geo3K と MMK12 というデータセットで GRPO という手法と組み合わせたところ、国内のベンチマークで最大 9.7% の相対向上を記録しました。
9.7% の向上ですね。分布が異なる問題ではどうなりますか。
分布が異なる問題でも効果は出ます。MathVision で 11.5%、MMMU-Pro で 11.1% の向上を確認しています。どちらも従来手法を大きく上回る数字です。
では、この手法は他の強化学習の手法とも組み合わせて使えるんですか。
論文では GRPO との組み合わせで実験をしています。EPS の計算自体はロールアウト統計に基づく汎用的な指標なので、別の手法への適用も検討余地があります。ただ、具体的な組み合わせ方の詳細については、そこはまだ分かっていません。
最後に、実用化に向けて残っている課題はありますか。
実用化に向けては、Geo3KやMMK12で最大9.7%の改善やMathVisionで11.5%の向上を確認しており、これらの結果が基盤となります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文