ESRLが Qwen3-30B-A3B の Pass@1、Pass@8 を GRPO よりそれぞれ 3.2、4.5 ポイント向上させた
この記事のポイント
- MoEモデルのルーティングに揺らぎを付与
- 信頼できるエクスパートを固定し候補を限定
- 数学・科学・コードで最良性能を達成
数字で見る
この記事に出てくる数字
| Pass@1改善 | 3.2pp |
|---|---|
| Pass@8改善 | 4.5pp |
| モデル規模 | 30B-A3B |
どこで使えるか
MoEモデルで推論コスト増やさず多様性を高めたい人向け arXivで論文公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
研究者の Hongyi He さんを筆頭にしたチームが、大規模言語モデルの学習手法 ESRL を公開しました。専門部品を選ぶ仕組みに意図的な揺らぎを加えることで、数学やコード生成のタスクで正解を出す確率を上げました。Qwen3-30B-A3B というモデルで試した結果、既存の GRPO を比べて Pass@1 がおよそ 3.2 ポイント、Pass@8 がおよそ 4.5 ポイント向上しています。
選び方に揺らぎを加えるというのは、乱数で適当に選んでいるわけではなさそうですね。実務で組み込む側からすると、品質が落ちないか心配な点です。
そうです。複数の専門分野を持つ部品を組み合わせて動くモデルで、工具箱からどの道具を出すか一つに決めてから計算を進めていました。ESRL はその選び方を少しだけランダムに変えるのですが、絶対に外せない信頼度の高い道具は固定のまま残します。さらに、選び方の迷いが大きいときには揺らぎを小さくして、品質が落ちるのを防いでいます。
迷いの大きさを数値で測って、揺らぎの量を調整するんですね。その数値って、モデルが答えに迷っているときの確率と同じようなものですか。
正確には選び方の分布の広がり具合を示す数値です。迷いが大きいほど揺らぎを弱め、迷いが小さいほど揺らぎを強める形で調整しています。これによって、品質を下げずに正解の幅を広げられるように設計されています。
揺らした選び方の記録を、あとで学習に使うんですね。top-K や top-1 といった違う選び方にも対応しているんですか。
対応しています。top-K、top-1、共有の専門部品を使う三种の仕組みすべてで実験をしています。数学、科学、コードの三つのタスクでも性能が出ているので、特定の部品選びや分野に縛られない形で使えます。
では、研究の位置づけとしては、最適化の安定さを犠牲にせずに探索する形になるんですね。
従来の手法は部品選びを固定して最適化の安定さを優先していました。ESRL は選び方の空間そのものを探索対象にするので、正解のバリエーションを増やしつつ、品質を維持するバランスを取れています。
実務で組み込む場合、コードの公開状況については気になりますね。実装の手順は論文に載っていますか。
具体的な実装手順やコードの公開状況までは記載されていません。そこはまだ分かっていません。
最後に、実用化に向けてまだ解けていない課題はありますか。
実用化の時期や、他のモデルへの適用結果については、論文には具体的な見通しが示されていません。次の報告を待ちたいと思います。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。