LLMがレシピを設計するSRO、LLMの追加学習を自動化する話

論文

LLMがレシピを設計するSRO、LLMの追加学習を自動化する話

スポンサーリンク

SROは、3領域6ベンチでQwen3-1.7Bの性能を41.1まで引き上げた。

この記事のポイント

  • レシピ空間の適応と明示的活用が課題だった
  • レシピ空間設計と最適化をLLMで自動化した
  • GPT-5.4で41.1、DeepSeek-V4-Flashで53.8

数字で見る

この記事に出てくる数字

Qwen3-4Bスコア 53.8
ベンチマーク数 6

どこで使えるか

実験設計を自動化し、モデルごとのレシピを最適化したい人向け。予算内で複数領域をカバーする訓練構成を構築できる GitHubで公開済み 3領域6ベンチで評価済み

スポンサーリンク

解説

かみくだいて説明します

Ruohong Liuらの研究チームが、人工知能の追加学習を自動化する「SRO」という手法を発表しました。既存の手法が固定された手順しか選べなかったのに対し、SROは対象となるタスクに合わせて手順の選択肢自体を自動で作成し、それを構造化して記録します。これにより、異なるタスク間での手順の再利用や組み合わせが容易になり、3つの能力領域と6つのベンチマークで、最も強い既存手法を大きく上回る結果を出しています。
手順を自動で作成するんですね。では、開発の現場でこの手法を使う場合、手元で動かすには何が必要になりますか?
コードはGitHubに公開されています。内部ではレシピ空間設計者とレシピ最適化器の2つの役割が動いていて、設計者がタスクに合わせて選択肢の枠組みを組み立て、最適化器が過去の試行結果を構造化して次の候補を選びます。
過去の試行結果を構造化して次の候補を選ぶ、というのが少しイメージしにくいんですが、例えば料理に例えるとどうなるんですか?
材料の組み合わせと火加減の選択肢を、その料理に合うように自動でリストアップするイメージです。毎回ゼロから試すのではなく、前回の試行で味が悪かった原因を構造化して記録し、次に使う材料と火加減の組み合わせを、複数の目標に合わせて自動的に絞り込みます。これまでは選択肢が固定されていたか、あるいは試行ごとの微調整が記録されずに残らなかったため、同じ成功パターンを別のタスクに転用しにくかった部分を解決しています。
確かに、記録が残らないと何度も同じ失敗を繰り返しますね。では、数値でどれくらい差が出るんですか?
Qwen3-1.7BとGPT-5.4を組み合わせた場合、SROは41.1点に対して最も強い既存手法が15.4点でした。Qwen3-4BとDeepSeek-V4-Flashの組み合わせでは、SROが53.8点、既存手法が40.8点です。すべてのモデルと人工知能の組み合わせで平均点が一番高くなりました。
3倍近く開きがあるんですね。では、研究している人から見ると、これまでに何ができていなかったんですか?
既存の自動化は、あらかじめ決まったレシピの範囲内で探すか、自由度は高いけれど試行ごとの編集が暗黙のままで記録されなかったため、別のタスクに手順を転用しにくかった点です。SROは選択肢そのものをタスクに合わせて適応させつつ、構造化して明示的に残すため、成功した手順を別のモデルや別の領域に組み合わせて再利用できます。
手順が再利用できるなら、新しいモデルが出たときも効率的に学習させられそうです。人工知能を自分の仕事で使っている人から見ると、いま困っていることのどれが減るんですか?
学習の設定やデータ選びに手間取る作業が自動化されるため、実験の回数を減らして本来の開発に割く時間を増やせます。ただし、実験で使われたモデルや人工知能の組み合わせ以外で、どの程度スコアが安定するかはそこはまだ分かっていません。
確かに効率化に直結しますね。最後に、今後の見通しはどうなりますか。
タスク適応型のレシピ空間を作り、評価も組み合わせて最適化する仕組みなので、三つの能力領域と六つのベンチマークを横断する統合後学習にも適用できます。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文