BranchOPDが、数学とエージェントの推論で生成コストを減らし精度を上げた
この記事のポイント
- 1 本の軌道では各判断で 1 方向しか実現しない
- ALFWorld で約 19%、WebShop で約 31% のコスト削減
- 数学で 18.55 ポイント、ALFWorld で 13.8 ポイント向上
どこで使えるか
推論コストを抑えつつ精度を上げたい人向け。生成モデルの学習や調整に時間を使える人 arxivで公開済み avg@16での結果。avg@1は未記載
スポンサーリンク
解説
かみくだいて説明します
Dongyang Chenらの研究チームが、arXivにBranchOPDという手法を発表しました。AIが自分で答えを生成する過程で教師役から指導を受ける技術は、一つの道筋しか使えなかったため、限られた計算資源ではカバーできる範囲が狭まっていました。この手法は迷っている判断点を自動で見つけて分岐させ、数学の正答率を平均18.55ポイント向上させます。
迷っているところだけ分岐させるんですね。作る側からすると、既存のモデルに追加で組み込むだけで済む話ですか。
既存のモデルに追加で組み込むだけで済む話です。ただし、どの判断点を分岐させるかを決める基準を、それぞれのタスクに合わせて設定する必要があります。数学の問題では単語ごとの判断で分岐し、エージェント作業では会話の一区切りごとの判断で分岐させます。
単語ごとに分岐するということは、文章を細かく区切って試すということですね。
例えるなら、長い文章を書く時に、一度書いた部分から先へ進む途中で迷ったら、その手前で一旦止めて別の方向をいくつか試す作業です。元の文章は残したまま、迷った地点から複数の続きを同時に生成し、教師役がそれぞれの続きを評価して、一番良い道筋だけを残します。
なるほど。同じ途中経過から何度も試すので、コストは本当に下がるんですか。
下がります。同じ途中経過を共有して使い回すため、7つの道を独立して試す場合と比べて、ALFWorldではおよそ19%、WebShopではおよそ31%の生成コストを削減できます。迷った地点で分岐させるため、無駄に遠回りする道を減らせるのが理由です。
では、ランダムに選んで分岐させる手法と比べて、迷っている地点を選ぶのが一番新しいということですね。
そうです。ランダムに選んだり、最初から分岐させたりする手法は、その後の行動の範囲を確実に広げられませんでした。この手法はAI自身が迷っている地点を選ぶため、範囲を確実に広げられます。さらに、作業の手順が決まっている場面では、手順に反する生成を抑制する仕組みも組み合わせています。
手順に反する生成を抑制するというのは、どういうことですか。
手順が決まっている作業では、AIが同じ動作を繰り返したり、手順から外れた無駄な生成をしたりする傾向があります。この仕組みは、手順の区切りで教師役が厳しく指導を行うことで、繰り返しの発生を抑え、手順に沿った正しい動作だけを伸ばします。
最後に、実用化に向けてまだ解決していない点はありますか。
評価は数学とエージェント作業の2つの分野で行われており、他の分野での性能や、より複雑なタスクへの適用可能性はまだ分かっていません。そこはまだ分かっていません。
出典
この記事のもとになった情報
- arXiv:Branching On-Policy Distillation
- 公開日:2026-10-09
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。