ゲームを自動生成して推論を鍛える GameSmith、Qwen3 での強化学習

論文

ゲームを自動生成して推論を鍛える GameSmith、Qwen3 での強化学習

スポンサーリンク

GameSmithが Qwen3-4B-Base の推論性能を蒸留で 62.5%、自己プレイ RL で 64.9% に引き上げた。

この記事のポイント

  • 既存手法はゲーム数が限られスケーリングが困難だった
  • LLMがゲームを自動生成し、教師モデルの自己対戦で蒸留した
  • ゲーム数が増えるほど転移効果が高まった

数字で見る

この記事に出てくる数字

ベンチマーク平均 45.5→62.5
生成ゲーム数 26
教師モデル 32B

どこで使えるか

ゲームを自動生成して教師モデルから蒸留し、自己プレイで強化したい人向け arXivで論文公開済み モデル重みは記載なし。SPIRALテンプレート3種使用

スポンサーリンク

解説

かみくだいて説明します

Weixian Waylon Li さんたちの研究チームが、arXiv に GameSmith という新しい学習手法を発表しました。人工知能を二人で対戦するゲームに強化学習させる際、既存の手書きのゲーム数や評価方法の限界を突破するため、モデル自身でゲームを生成し、3 つの SPIRAL テンプレートから 29 種類のゲーム系統に 26 個の新作、336 個の検証済みバリエーションを作り出しています。
なるほど。自分でゲームを作るんですか。既存の手書きゲームと比べて、どこが新しいんですか。
既存の手法では、人間がルールを書いて、そのルールに縛られた評価指標でしか強化学習が出来ませんでした。GameSmith では、モデルがテンプレートに合わせてゲームを自動で作成し、シード値を合わせて再生することで正解を確認します。例えば、将棋のルールを人間が書くのではなく、モデルが盤面の配置や得点ルールを自動で組み替えて、何千通りもの対戦環境を安全に用意するイメージです。
盤面の配置や得点ルールを自動で組み替えるんですね。
正確には、テンプレートが決めた報酬や情報の隠し方の中で、モデルがルールを生成します。その生成結果をシード値を固定して再生し、仕様書を別に実装して照合することで、作られたゲームが正しいことを確かめています。
仕様書を別に実装して照合するんですか。その中で CRAB という評価方法が気になります。
CRAB は各判断の価値を測る指標です。
価値を測る指標ですね。そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
対戦で指し手を選んだとき、その指し手がその後の勝利にどれくらい貢献したかを、位置ごとの期待値を基準に割振る仕組みです。従来の方法だと直近の対戦結果だけで評価が揺らぎがちでしたが、揺れを小さくして安定させた点が特徴です。
揺れを小さくして安定させるんですね。実際に数値はどれくらい変わったんですか。
教師モデルの Qwen3-32B で対戦させたデータを蒸留し、Qwen3-4B-Base で試した結果です。13 種類のベンチマークの平均正解率 pass@1 が、従来の手法でおよそ 45.5 だったのを 62.5 に引き上げました。さらに CRAB を使った自己対戦の強化学習を掛けると 64.9 まで伸びています。
確かに上がっていますね。この手法で作られたゲームは、現場のモデル開発ですぐ使えますか。
複数のモデルで性能が上がる順序は同じで、ゲームの系統が増えるほど転移の効果も大きくなっています。
系統数を増やすだけで性能が上がるなら、開発の幅が広がりそうですね。では、最後に今後の展開はどう見えますか。
ゲーム系統を増やすほど他分野への伸びも大きくなると分かっていて、この先の広がりに注目しています。
あわせて、今月に出た別の研究も、シードやテンプレートから強化学習用の訓練データファミリーを自動生成する手法という同じやり方を使っています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文