Bespoke-Nimbleが公開。Qwen3.5-9B 向け LoRA アダプターで、選択肢や評価基準の回答を生成する話
この記事のポイント
- Qwen3.5-9BのLoRAアダプター
- 選択・真偽・評価基準スコアを直接スコアリング
- CUDA GPUとBF16サポートが必要
数字で見る
この記事に出てくる数字
| アダプタサイズ | 165 MiB |
|---|---|
| 最大選択肢数 | 26 |
| プロンプト上限 | 2,048トークン |
どこで使えるか
選択肢や評価を直接出したい人向け。CUDA GPUとBF16が要る Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
bespokelabs が 9 月 18 日に公開した LoRA アダプタ「Bespoke-Nimble-9B」です。Qwen3.5-9B という基盤モデルに重ねて使い、選択肢や真偽、評価基準の点数を直接スコアリングするものです。推論や自由回答は出さず、決められた回答候補の中から確率で順位を付けます。
自由回答ではなく、用意した中から選ぶ形なんですね。では、技術者が組み込む環境はどのくらい整えれば動きますか。
CUDA 対応の GPU が必要で、PyTorch 2.8.0 と CUDA 12.8 で動作を確認しています。アダプタ単体の容量はおよそ 165 MiB で、基盤モデルの重み自体は含まれていないため、別途準備が必要です。ライセンスは Apache 2.0 です。
確かに、重みは別でアダプタだけ軽く持てるわけですね。選択肢の数は項目ごとにどれくらいまで設定できますか。
各項目あたり最大 26 個までです。評価基準を使う場合は「0」「1」「2」のような整数の文字列で段階を定義し、どの項目を点数対象にするかを指定します。返ってくるのは選ばれた整数と、確率を重みにつけた期待値のスコアです。
なるほど。確率を重みにつけて点数を出すんですね。2,048 トークンを越えた場合、どうなるんですか。
2,048 トークンを越えるプロンプトは拒否されます。切り捨てたり省略したりはせず、そのまま処理対象外になります。これは安全策で、長い指示を出すと選択肢の確率計算が狂うのを防ぐための設計です。
切り捨てずに拒否するんですね。確率計算が狂う状態が、具体的にどういうことか教えてもらえますか。そこがまだ掴めません。
長い文章を無理やり短くすると、選択肢の前後関係がずれてしまいます。例えばテストの問題文が途中までしか届かない状態で、正解のマークだけを見て答えを選ぶようなものです。全体が見えていないのに確率を出すと、信頼できるスコアにはなりません。
確かに、問題文が切れていたら正解は選べませんね。開発元へのアクセスには、どのような手順が必要ですか。
Hugging Face のトークンで認証が必要です。リポジトリが非公開の場合、読み取り権限を持つトークンを用意すれば、コードと tokenizer をそのまま呼び出せます。trust_remote_code の設定は不要で、付属のヘルパーを事前に確認するだけで組み込みが可能です。
最後に、既存の評価ワークフローと比べて、どこが最も使いやすくなったんですか。
そこはまだ分かっていません。現時点で公式にサポートしているのは Qwen3.5-9B だけで、他のモデルや既存ツールとの比較データは公開されていません。
出典
この記事のもとになった情報
- Hugging Face:bespokelabs/Bespoke-Nimble-9B
- 公開日:2026-09-18
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。