llm-jp-4.1-8b-thinking の推論を改善する SFT と DPO の組み合わせ

モデル

llm-jp-4.1-8b-thinking の推論を改善する SFT と DPO の組み合わせ

スポンサーリンク

llm-jp-4.1-8b-thinkingが公開。SFT と DPO で推論能力を高めた 80 億パラメータの日本語モデル。

この記事のポイント

  • 日本語大規模言語モデルの思考系モデル
  • SFTとDPOでポストトレーニングされた
  • メモリと利用方法の詳細はcookbookを参照

数字で見る

この記事に出てくる数字

学習トークン数 11.7T
モデルサイズ 8b

どこで使えるか

思考型推論を日本語で使いたい人向け。SFTとDPOで調整済み Hugging Faceで公開済み openai-harmonyライブラリでは直接トークナイズ不可

スポンサーリンク

解説

かみくだいて説明します

llm-jpが、国立情報学研究所の大型言語モデル研究開発センターによって開発された、llm-jp-4.1-8b-thinkingというモデルを、2026-09-16に公開しました。このモデルは、およそ11.7T個のトークンを使って、段階的に学習を繰り返して作られています。
11.7Tも使うんですか。基礎から教えて、その後どう調整するんですか?
基礎の段階が終わったあと、人間の解答例を使って正解を教える supervised fine-tuning と、人間の好みに合わせて微調整する direct preference optimization という手法を組み合わせて仕上げます。例えば、先生が模範解答を黒板に書く supervised fine-tuning と、生徒の書いた答案から「こっちの方が良い」と赤ペンで直接線を引く direct preference optimization を組み合わせるイメージです。強化学習のように、試行錯誤しながら報酬ポイントを追いかける手順は省いています。
試行錯誤ではなく、直接「こっちが正解だ」と教えるんですね。強化学習を使わないのは、なぜですか?
強化学習は計算量が多く、環境の構築も複雑になるため、今回の開発方針ではあえて見送りました。direct preference optimization なら、正解データと好まれる回答のペアさえあれば、比較的シンプルな手順でモデルの出力を人間の意向に寄せられます。
手順がシンプルになるんですか。使う側の技術者から見ると、組み込むのは簡単ですか。
組み込み自体は、OpenAI Harmony という形式に互換性があるため、既存のシステムにそのまま繋げられます。ただし、内部で使うトークナイザー、文章を切り分ける辞書のような装置が異なるため、公式が用意している専用のトークナイザーを使わないと誤動作します。
公式の装置を使わないと動かないんですか。別の区切り方だとどうなるんですか?
区切り方がずれると、モデルが入力を読み違え、意味を成さない文章を返す可能性があります。正確に動かすには、このモデルに同梱されているトークナイザーを必ず読み込んでください。
同梱の装置を使うのが前提なんですね。この 8b のモデル以外に、他のサイズはありますか。
はい、8b の他にも、より大きなパラメーター数のモデルが複数用意されています。各サイズの概要や比較については、公式のページでまとめています。
別のサイズも使えるんですか。実際に動かす手順はどこで見られますか。
具体的な使い方やコードの書き方は、公式が公開しているクックブックで確認できます。そちらに段階ごとの設定方法と、動作確認の手順が詳しく載っています。
最後に、今後の開発予定や、次に出てくるモデルの方向性について、何か分かっていることはありますか。
開発センターでは引き続きモデルの改良を進めていますが、次のリリースの日程や具体的な仕様については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル