推論時のスケーリングで回答精度を上げる DMS、モデルの重みを更新しない話

論文

推論時のスケーリングで回答精度を上げる DMS、モデルの重みを更新しない話

スポンサーリンク

Decoupled Marginal Sharpeningが推論時のスケーリングで回答精度を上げた

この記事のポイント

  • 推論分布と回答分布の分離が課題だった
  • 推論と回答を別々に鋭くする手法を開発
  • 全タスクで比較手法中最も高い精度を得た

どこで使えるか

推論コストを抑えつつ精度を上げたい人向け。学習不要でモデルを選ばない コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Weixin Wangらの研究チームが、先月15日にarXivに論文を発表しました。大規模言語モデルの推論時間を延長するだけで、モデルの重みを更新せずに推論精度を上げる手法「DMS」を提案しました。MATH500、GPQA-Diamond、HumanEval、AIME24と25の4つのベンチマークで、比較手法の中で最も高い平均pass@1を達成しています。
重みを更新せずに精度が上がるんですか? 現場で既存のモデルにそのまま組み込める話なんですか?
組み込みの手間はかかりますが、学習なしで推論時のサンプリング条件を変えるだけで済みます。従来は答えの全体を一度に強調する手法が主流でしたが、正解への別の道筋が潰れてしまう課題がありました。DMSは推論の過程と最終的な答えを別々に調整します。例えば地図アプリで、目的地までの複数の経路をまず広く探してから、一番混雑が少ないルートに絞るイメージです。
経路を広く探してから絞るんですね。 推論の過程を優しくするのと、答えを強く集中させるのは、具体的にどのくらい違うんですか?
別々の指数で制御します。推論の段階では指数を小さめに設定して多様な経路を確保し、答えを集約した後に指数を大きくして支持の多い答えに集中させます。サンプリングの面では、パスコラプス、つまり一部の経路ばかりが繰り返される現象を防ぐため、段階的に条件を変えながら提案する新しいアルゴリズムを組み合わせています。
一部の経路ばかりが繰り返されるのを防ぐんですね。 3つのモデルで試した結果、比較手法の中で一番だったんですか?
はい。MATH500、GPQA-Diamond、HumanEval、AIME24と25の4つのベンチマーク全てで、平均pass@1が最も高くなりました。ただし、今回提示されたのはあくまで推論時のサンプリング手法であり、モデル自体の性能が上がるわけではありません。実務で使う場合の計算コストや、他のモデルへの適用範囲については、そこはまだ分かっていません。
計算コストや他のモデルへの適用については不明なんですね。 では、研究している人から見ると、どこが新しいポイントになるんですか?
既存の手法が答えの全体を一度に強調するのに対し、経路の段階と答えの段階を明確に分離した点です。これまではサンプリングの段階で両方を同時に調整していたため、経路の多様性と答えの集中性を両立させるのが難しかったです。分離したことで、両方の課題を同時に解決できる道が開けました。
両方の課題を同時に解決できる道が開けたんですね。 推論時間を延長するということは、処理に時間がかかるようになるんですか?
推論時間を延ばす分、重みの更新はいらないので、モデルの重みはそのままに推論だけ調整するやり方だと言えます。
最適な延長比率は不明なんですね。 最後に、この手法が今後どう発展していく見込みですか?
DMSとFAA-SMCを組み合わせると、複数の推論経路の支持を集めた答えに確率を集めやすくなるようです。
あわせて、先月には重みの更新や外部報酬モデルを使わずに推論時にLLMの推論能力を向上させることを課題とする別の研究も出ています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文