Qwen3.6とQwen3.5を基盤とするPistisモデル、推論と強化学習を統合した手法

論文

Qwen3.6とQwen3.5を基盤とするPistisモデル、推論と強化学習を統合した手法

スポンサーリンク

Pistisが、推論と強化学習を統合した手法でベースモデルを上回る性能を出した

この記事のポイント

  • 単独最適や静的結合では限界があった
  • IDRLでオンポリシー蒸留と強化学習を交互に実行
  • 両スケールでベースモデルを上回る

数字で見る

この記事に出てくる数字

パラメータ数 27B, 9B

どこで使えるか

深推論やエージェント操作を強化したい人向け。パラメータ更新不要で推論基盤を改善。 arXivで論文公開済み モデルの公開は記載なし

動画を見る

スポンサーリンク

解説

かみくだいて説明します

最近、マルチモーダルLLMが急成長していますが、深い推論能力とエージェント機能を両立させるのは難しいですよね?
確かにその通りです。思考と行動を同時に最適化するのは、現場でも大きな課題となっています。
従来の手法だと、教師あり学習と強化学習を別々にやっているか、単純に損失を足し合わせたりするんじゃないですか?
その通りです。静的な結合や孤立した最適化では、どちらか一方の能力が低下するトレードオフが避けられません。
arXivに公開されたPistis Technical Reportでは、Qwen3.6とQwen3.5を基盤にした27Bと9Bのモデルファミリーと、IDRLという新しいポストトレーニング手法が提案されています。
そのIDRLって、具体的にはどういう仕組みなんですか?
IDRLはオンポリシー蒸留と強化学習を単一の学習ループ内で交互に実行する仕組です。知識伝達と報酬最適化を交互に回すことで、長期の行動軌跡に対する信用配分が精密になり、最適化の安定性も向上します。
交互に回すことで安定性が上がるんですね!確かに理にかなっています!
蒸留で得た知見が次の強化学習ステップの基盤になり、その結果がまた蒸留にフィードバックされる構造です。
実際の性能向上はどのくらいあるんですか?
27Bと9Bの両モデルでベースモデルを明確に上回り、Pistis-Agenticはマルチモーダル検索タスクで大幅な性能差を示しています。PAHではモデルパラメータを更新せず、インタラクション予算を増やさずに推論性能を向上させています。
ベースライン手法と比べた性能差についての質問?
IDRLの交替最適化により、長期エージェント軌道での信用配分が精密になり、能力トレードオフを緩和しつつパフォーマンスが向上しています。
でも、特定の学習ループやシステム最適化に依存するなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、IDRLというループとPAHというシステム最適化は、モデルパラメータやインタラクション予算を増やさずに性能を向上させる手法です。
自分で試す場合はどうすればいいんですか?
Pistis-Auto-Harnessingはモデルパラメータを更新せずに推論ハルネスを改善する手法で、検証スケールは限定的ですがポストトレーニングの標準になり得る可能性を秘めています。
検証スケールは限定的ですが、IDRLの交互最適化はポストトレーニングの標準になり得る可能性を秘めています。
27Bと9Bの両モデルがベースモデルを上回る性能を実現しました。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文