Contrastive-LMの重みがApache 2.0で公開。Qwen3-8Bの上に小さなヘッドを追加するだけで訓練可能。
この記事のポイント
- Qwen3-8Bをベースに状態と行動を接続する
- InfoNCE損失で2つの投影ヘッドのみ学習
- Apache 2.0で公開、学習は低コスト
数字で見る
この記事に出てくる数字
| モデルサイズ | 8B |
|---|
どこで使えるか
行動予測や候補 ranking を自前で実装したい人向け。学習は低コストで商用利用も可能 Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
Contrastive-LMが2026年9月22日、CLM-8Bという新しいモデルを公開しました。Qwen3-8Bという既存の言語モデルを凍結したまま、その上に状態用と行動用の2つの小さな予測ヘッドを乗せて、双方向InfoNCE損失という手法で学習させたものです。
既存のモデルを凍結するんですか?
はい。重みを更新しないので、学習に必要な計算量は大幅に減ります。微調整は安いコストで済むため、DeepSWEやTerminal-Benchというタスク用のヘッドに繋げるための出発点として使われています。
重みを動かさないなら、作る側の手間は確かに減りますね。双方向で正解を近づける学習だと理解しました。
状態と行動のペアを正解として近づけ、それ以外の手続きを遠ざける学習です。例えば、ある局面から次の手を複数候補に出したとき、正解の手順のスコアだけを相対的に高くするイメージです。
正解と不正解を対比させるんですね。使う側から見ると、実際に手元で動かすのに何が要りますか。
公開されているclm-serveというツールでローカル環境を立ち上げると、Webのプレイグラウンドがlocalhost の 8700 番ポートで使えます。ライセンスはApache 2.0です。
ローカルで動かせるのは助かります。研究している人から見ると、どこが新しいんですか。
System Oneと呼ばれる、状態と行動を直接結びつける新型の分類です。これまでの手法と比べて、候補のランク付けや次の行動の推定を一つのモデルで処理できます。
一つに集約できるなら、開発の効率も上がりそうです。では、公開されているコードの詳しい仕様や、他のモデルとの比較データがまだ出ているのか気になります。
そこはまだ分かっていません。
最後に、今後の展開について教えてください。
DeepSWEとTerminal-Benchのヘッドのための出発点として、このチェックポイントが利用されています。
出典
この記事のもとになった情報
- Hugging Face:Contrastive-LM/CLM-v0.1-8B
- 公開日:2026-09-22
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。