Qwen3.5-4BのLoRAアダプタ lev、文脈に対する判定質問を1回の推論で返す話

モデル

Qwen3.5-4BのLoRAアダプタ lev、文脈に対する判定質問を1回の推論で返す話

スポンサーリンク

levが S1Bench で reflex-4B に並び、26B~35B モデル3つにだけ負けた

この記事のポイント

  • Qwen3.5-4BのLoRAアダプタ
  • 1つのフォワードパスで複数設問に回答
  • 8GBのモデルと200MBのアダプタが必要

数字で見る

この記事に出てくる数字

ベースモデル 8 GB
アダプタ 200 MB
閾値 0.9

どこで使えるか

多質問を1パスで処理したい人向け。ロジスティクスやモデレーションの判断コストを下げられる Hugging Faceで公開済み Python 3.12以上、CUDA GPUが必要

スポンサーリンク

解説

かみくだいて説明します

interfaze-aiが2026-09-24に公開したlevは、テキストやメール、チケットのデータと質問を一度に入力すると、一回の処理で全ての答えを返します。選択肢や数値の質問を並べたとき、計算した結果の中から直接答えを読み取り、正確な確率で返す仕組みです。
一回の処理で全部の答えが出るんですか? 質問を一つずつ聞くより、どれくらい速くなるんですか?
質問が3つあっても1つでも、かかる時間はほぼ同じです。ベースになるのはQwen3.5-4Bというモデルに、学習した部分だけを足したLoRAという技術を使っています。H100というグラフィックチップを1台使えば動きます。公開されているベンチマークでは、同じサイズのモデルと同等か、26B-35Bの大きいモデルに迫る結果が出ています。
ベンチマークという数字は、実際の開発現場で使うときの目安になるんですか。
試験の標準問題集のようなものです。開発者が作った決まった問題で測った結果ですから、実際のデータではまた違う数字が出ます。ただし、同じ条件で他モデルと比べられるので、どれくらい速いか重いかが一目で分かります。
そこがまだ掴めません。標準問題集というのは、決まった答えがあるテストってことですか。
正確には、開発者が「こういう入力が出たら、こういう答えが正しい」と決めて作った問題です。実際の業務データとは違いますから、数字は目安になります。同じ問題で他モデルと比べられるので、性能の順位が一目で分かります。
なるほど。決まった答えで比べるんですね。では、確率が正確に出せるというのは、具体的にどう役に立つんですか。
出た確率をそのまま基準にできます。例えば0.9以上なら自動で処理して、それ以下なら人が確認する、という切り分けがそのまま使えます。質問の選択肢以外を返すことが構造上できませんから、後でデータ形式を解析したり、外れた答えをやり直したりする手間がなくなります。
選択肢以外を返さないというのは、例えば「はい」「いいえ」しか出さないように設定すれば、絶対にそれ以外の文字が出ないということですね。
正確にはそうです。ただし、返す答えが選択肢の中なら正しいとは限らないので、構造としての保証であって、内容の正しさまでは約束していません。文章を生成するのではなく、与えられた選択肢から選ぶだけですから、トークンを1つもしません。
文章を生成しないというのは、普通の人工知能が文章を書いてくれるのと全然違う使い方なんですね。では、実際に組み込むときのハードルはどうなっていますか。
TypeSafeというプロトコルに対応しているので、すでにその規格で書かれたコードの接続先アドレスだけ変えれば動きます。Python 3.12以上と、リアルタイムで使う場合はCUDA対応のグラフィックチップが必要です。公開されているリポジトリからベースモデルとアダプターをダウンロードして、設定ファイルを読み込めば準備は完了します。
最後に、このモデルがカバーしない範囲や、今後の予定について教えてください。
現時点では文章の生成や長い文脈の要約は対象外です。公開されているベンチマークの6つの項目以外での動作確認はまだありません。そこはまだ分かっていません。次は実際に開発者が組み込んで試した結果を、改めてお伝えします。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル