強化学習で全滅した組を、別モデルが解けた例と入れ替える仕組み

論文

強化学習で全滅した組を、別モデルが解けた例と入れ替える仕組み

スポンサーリンク

GRAFTが、同じ rollout 数で両モデルの性能を上げた。

この記事のポイント

  • 有限ロールアウトで全失敗が起きる
  • 他モデルの軌道で補完する
  • 3組で平均2.1点向上。保存でも1.8点

数字で見る

この記事に出てくる数字

平均改善 2.1 points
最大改善 4.5 points
保存後の改善 1.8 points

どこで使えるか

有限ロールアウトで全失敗が起きる環境で、他モデルの軌道を活用したい人向け。 arXivで公開済み コードの公開は記載なし

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Doohyuk Jangらの研究チームが、arXivに論文を発表しました。AIが数学の問題を解く GRPO という学習手法に、別のモデルが出した回答を共有する GRAFT という仕組みを加えました。同じモデルが自分で出す回答の数が限られると正解に辿り着けないグループができてしまいますが、別のモデルが既に正解を持っている問題を共有して置き換えます。
別のモデルが出した回答を共有するんですか? 正解を盗むわけではないんですか?
正解そのものをそのまま使うのではなく、別のモデルが計算した正解かどうかの目安の値を使って、学習の方向を修正します。同じモデルだけで回すよりも、違うモデル同士で補い合うことで、同じ数の回答でも正解に辿り着く確率を上げます。
なるほど。同じ回答数で精度が上がるなら計算コストの削減に直結しますね。実際にどれくらい向上したんですか?
3つの異なるモデルのペアで、5つの数学推論のテストベンチマークを使いました。同じロールアウト予算で回したところ、平均で 2.1ポイント、モデルごとの平均では最大で 4.5ポイント向上しました。
2.1ポイントから 4.5ポイントですか。では、別のモデルの回答をそのまま保存して、後から別のタイミングで使った場合も効果があるんですか?
保存した回答だけでも、同時学習なしで平均 1.8ポイント向上しました。別のモデルが同時に動いていなくても、既に得た回答の情報が役立っているということです。
保存したデータだけで効果があるなら、一度集めた回答をライブラリのように蓄積できそうです。この仕組みは公開されていますか。現場の技術者が組み込みやすいんですか。
論文には手法の詳細と実験結果が記載されていますが、コードの公開についてはそこはまだ分かっていません。手法の仕組み自体は、異なるモデル同士が互いの回答を補完し合うことで、限られた試行回数の中でも正解を積み重ねられるようにするものです。
限られた試行回数の中でも正解を積み重ねられるという考え方ですね。では、異なるモデル同士が混ざり合う際の精度のズレは、具体的にどう制御しているんですか。
文単位の見通しを調整する仕組みは、まるで異なる方言を話す二人が会話のテンポを合わせるようなものです。一文字ごとの重みを制限する仕組みは、会話の中で重要な言葉にだけ集中して、余計な雑音を削ぐ作業に近いです。5つの数学的推論ベンチマークで、同じ rollout 数でも GRPO より平均 2.1 点、最大 4.5 点の向上を確認しました。
方言でテンポを合わせ、重要な言葉だけ拾うイメージですね。最後に、この手法が実用化されるまでには、まだどの辺りが解けていないんですか。
異なるモデル同士を組み合わせても、数学推論のベンチマークでは元の方法より平均で得点が伸びることを確認しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文