ルール適用の判断を学ぶ AdaptEvo、トレーニング中の評価基準を進化させる話

論文

ルール適用の判断を学ぶ AdaptEvo、トレーニング中の評価基準を進化させる話

スポンサーリンク

AdaptEvoがIn-PeriodでGRPOを7.5ポイント上回り、Out-of-Periodでも精度を維持した。

この記事のポイント

  • ルールと証拠の整合が不明確
  • CA-GRPOで報酬配分を調整
  • In-Periodで正解率61.9%

数字で見る

この記事に出てくる数字

GRPO超過(pp) 7.5, 3.7

どこで使えるか

ルール変更に対応したい人向け。CA-GRPOで報酬配分を調整し、過学習を防ぐ 論文に記載あり、コード公開は不明

スポンサーリンク

解説

かみくだいて説明します

Shijun Wanらの研究チームが、2026-10-08に発表した「AdaptEvo」という学習フレームワークです。Qwen3.6-35B-A3Bというモデルで試したところ、正解率61.9%、二値判断の正解率72.2%を記録しました。
参考資料の自信度に合わせて重み付けするんですか? 判断を間違えた時の仕組みは、どうなっているんですか?
間違えを繰り返すケースから判断のノウハウを自動で蓄積し、評価の基準もそのつど細かく書き換えます。現場の技術者から見ると、CA-GRPOという手法を使えば、ルールが変更された後のテストでも、従来の手法が学習を重ねるほど性能が落ちるのを防げます。
性能が落ちなくなるのは、どのくらい差が出るんですか?
In-Periodのテストでは、従来の手法を比べて正解率で7.5ポイント、二値判断で3.7ポイント上回っています。Out-of-Periodのテストでは、追加の知識を注入しなくても、ベースモデルを上回る精度を維持しています。
確かに! 判断過程の基準を自動で書き換えると言いましたが、そこがまだ掴めません。
試験の答え合わせで、これまで見落としていた誤答のパターンを抽出し、次のテストの採点基準に反映させる仕組みです。例えば、写真とテキストの組み合わせで判定する業務で、テキストだけを見て正解と判断していたケースを、画像の情報も合わせて見直す基準として追加します。
なるほど。では、判断の基準を自動で書き換える仕組みは、学習データが足りない場合でも動きますか?
そこはまだ分かっていません。論文の中には、データ量が少ない環境での動作確認については触れていません。
研究している人から見ると、どこが新しいんですか?
正解を出す結果だけでなく、どうやって結論に至ったかの過程を評価に組み込んだ点が異なります。これまでは結果の正誤だけで報酬を計算していましたが、判断の根拠を細かく測れるようになったのが今回の違いです。
最後に、この手法の実用化でまだ見えていない点はどこですか?
実証実験で得られた精度向上の成果が、より大規模なデータや異なるドメインでも再現可能かどうかは、まだ検証されていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文