560Bの混合推論モデル Ling-3.1-flash、実務タスクでの能力向上の話

モデル

560Bの混合推論モデル Ling-3.1-flash、実務タスクでの能力向上の話

スポンサーリンク

Ling-3.1-flashが公開。560Bパラメータ、100万トークンの文脈で実務タスクの能力が向上。

この記事のポイント

  • 560Bパラメータのハイブリッド推論モデル
  • 実務タスク向けにアーキテクチャを改良
  • 1Mトークン対応でH200 8枚で動作

数字で見る

この記事に出てくる数字

総パラメータ 560B
アクティブパラメータ 25B
コンテキスト長 1M

どこで使えるか

実務タスクやコーディングを自前で組む人向け。1Mトークン対応で推論コストを抑えられる Hugging Faceで公開済み 8×H200推奨。MTP/FP8最適化対応、ライセンスはmit

スポンサーリンク

解説

かみくだいて説明します

inclusionAIが10月13日に、ネイティブハイブリッド推論モデルのLing-3.1-flashを発表しました。全体パラメータは560B、1トークンあたり25Bのアクティブパラメータを使い、1M-tokenのコンテキストウィンドウに対応しています。
前回のモデルから改良されたんですね。ハイブリッド推論というのは、いつも全部のパラメータを使うわけではなく、必要な部分だけを選んで動かす仕組みですか?
正確には、モデルが自分で考える時間と即座に答える時間を切り替える仕組みです。難易度が高いタスクでは内部で段階的に考えを進め、単純な指示には即座に処理を返します。
つまり、問題の難しさによって処理の切り替えが自動で起きるということですね。
その通りです。開発元が公開した評価結果では、Terminal-Bench 4.0やFrontierSWEといったコーディングベンチマークでスコア向上を確認しています。また、Claude CodeやKilo Codeといった既存のフレームワーク上でも、そのまま動作する確認が完了しています。
既存のツールと組み合わせて使えるのは、現場の技術者にとって大きなメリットですね。では、長いコード作業で困っていた部分はどう改善されたんですか?
長時間続くコーディングタスクに対応したLingCodeという新しい枠組みを同時に公開しています。数百回にわたるツール呼び出しや、繰り返されるコンテキストの圧縮処理を内蔵しており、数時間かかる複雑な開発作業でも安定して追従できます。
繰り返されるコンテキストの圧縮処理というのが、まだ掴めません。もう少しやさしく言うとどうなるんですか?
正確には、長い作業で画面に表示される情報量が増えすぎたときに、重要な部分だけを残して古い情報を整理する仕組みです。これによってモデルが前の手順を忘れてしまうのを防ぎます。
情報量を自動的に整理するんですね。
推奨構成はH200を8台並べる形で、テンソル並列とエキスパート並列をそれぞれ8に設定します。GB300を4台で動かす場合も対応しており、Hopperアーキテクチャ向けの最適化を有効にするとバッチ1の推論速度がおよそ10%向上します。
H200を8台使う例が載っているんですね。
推論用の実行環境はSGLangというフレームワークのday-0イメージで提供されており、H200やGB300、H800、H100、B200の各環境向けに検証済みのレシピがcookbookに掲載されています。モデル自体の公開時期については、そこはまだ分かっていません。
実行環境の準備はすでに進んでいるんですね。では、一般の開発者が自分で導入する場合は、まだ難しい段階ですか、それともすでに公開されているんですか?
LingCodeは将来公開を検討しているとのことです。医療や金融、材料科学といった分野でも性能向上が確認されています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル