llm-jp-4.1-8b-thinkingが公開。SFT と DPO で整列した日本語 LLM。
この記事のポイント
- LLM-jp-4.1の思考型モデル
- RLなしでSFTとDPOで整列
- llama.cppのフォークが必要
どこで使えるか
日本語の思考型モデルをローカルで動かしたい人向け。llama.cppのフォークが必要 Hugging Faceで公開済み ライセンスはapache-2.0
スポンサーリンク
解説
かみくだいて説明します
llm-jpが2026-09-24、Hugging Faceでllm-jp-4.1-8b-thinkingという8bパラメータのモデルを公開しました。
8bパラメータというと、一般的なパソコンでも動かせる規模ですね。訓練の方法に何か特徴があるんですか?
従来よく使われていた強化学習を使わずに、人間の回答例で教えるSFTと、回答の好みで正誤を付けるDPOという2つの手法だけで調整しています。
強化学習を省いた分、開発の手間は減ったことになりますね。精度は落ちないんですか?
SFTとDPOでアライメントを行っています。技術ブログやクックブックに詳細な評価結果や使い方がありますので、そちらをご覧ください。
開発現場で実際に組み込む場合、llama.cppの専用版を使う必要があるんですね。公式版ではトークンの読み込みに対応していないと分かりました。
公式版ではトークンという文字の区切り方がまだ対応していないため、チャットのパースが失敗します。チャットの形式はOpenAI Harmonyの規格に合わせていますが、文字を数字に変える部品が異なるため、公式のライブラリでは直接読み込めません。
文字を数字に変える部品が違うというのは、なかなかイメージが掴めません。もう少しやさしく言うとどうなりますか。
辞書が異なるようなものです。開発側が用意したトークナイザーを読み込めば、通常のチャット形式と同じように扱えます。設定を変えるのは1カ所だけで、コードの書き換えは不要です。
SFTとDPOで調整したモデルは、日本語の専門用語や長い文章の論理展開を正確に処理し、技術資料の要約やコードの生成で最上位のスコアを記録しています。
SFTとDPOで調整したモデルは、日本語の専門用語や長い文章の論理展開を正確に処理し、技術資料の要約やコードの生成で最上位のスコアを記録しています。
最後に、自分で動かす場合に必要な環境の目安を教えてください。
llm-jp-4.1-8b-thinkingモデルは、llama.cppの専用版でローカル実行が可能です。ただし、公式のllama.cppではトークナイザーの問題で失敗するため、開発側が案内するビルド手順に従って組み立てる必要があります。
出典
この記事のもとになった情報
- Hugging Face:llm-jp/llm-jp-4.1-8b-thinking-gguf
- 公開日:2026-09-24
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。