GLM-4.5-Air向け 事後学習の手順を8段階で公開・再現可能に

論文

GLM-4.5-Air向け 事後学習の手順を8段階で公開・再現可能に

スポンサーリンク

Rufus-Airが GLM-4.5-Air の事後学習レシピを 8 段階で公開し、公式版を上回る性能を出した

この記事のポイント

  • LLMの学習工程は不明確だった
  • 8段階パイプラインで再現した
  • 公式版より改善、同規模モデルと拮抗

動画を見る

スポンサーリンク

解説

かみくだいて説明します

私の専門分野でも、学習済みモデルに追加で手を加えるポストトレーニングの手法が注目されていますよね?
確かにその通りです。オープンソース界隈では、ベースモデルの能力を最大限引き出すレシピ共有が活発になっています。
でも、既存の手法って結局、膨大な人の手や自社専用の教師モデルがないと回せない壁がありませんでしたか?
その通りです。新しい人間の注釈や自社専用の教師モデルなしで、オープンなコンポーネントと公開データを使って構築されています。
そこでarXivに公開されたのが、GLM-4.5-Air-Baseを対象としたオープンなレシピです。SFTからRLHFまで8段階の工程をシリアルに繋ぐ構成になっています。
そのアプローチって、具体的にはどういう仕組みなんですか?
基礎能力の定着から始まり、推論やコーディング、指示追従の強化学習を経て、最終的にエージェント機能とヒューマンフィードバックで磨き上げる流れです。段階的に難易度を上げるジムトレに似ています。
確かに!段階ごとに専門性を特化させていく設計は理にかなっていますね!
改善効果や数値についての質問なんですが、公式リリースと比べてどれくらい差が出るんですか?
公式ポストトレーニング版を明確に上回り、同規模のオープンモデルと遜色ない性能を記録しています。
ベースライン手法と比べた性能差についての質問なんですが、特にどこが抜けていた部分を補完したんですか?
難易度フィルタリングで強化学習の指示が学習曲線に乗る範囲に収まり、報酬設計の信頼性で段階順を最適化した結果、全体のボトルネックが解消されています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。インフラ選定やデータ品質への依存度は依然として高く、再現には一定の計算リソースと設計コストが不可欠です。
実際の試し方についての質問なんですが、個人で動かす場合はどこから始めればいいですか?
公開されているオープンソースコンポーネントと公的データセットを組み合わせてパイプラインを構築できます。まずSFT段階から試し、段階を踏んでみてください。
GLM-4.5-Air-Baseを基盤としたこのモデルは、公式リリースを上回り、同規模のオープンモデルと競争力を持っています。
確かに!誰でも高品質なモデルを育てられる未来が近づいたような気がしますね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文