コードと AI R&D に特化した 309B モデル Naive-N0.5-Flash の学習

モデル

コードと AI R&D に特化した 309B モデル Naive-N0.5-Flash の学習

スポンサーリンク

Naive-N0.5-Flashが公開。コードとAI R&D向け309B MoE、1Mトークン対応。

この記事のポイント

  • コーディングとAI研究向け
  • SWAとDSAをハイブリッド化
  • 309Bパラメータで1Mトークン

数字で見る

この記事に出てくる数字

パラメータ数 309B
アクティブパラメータ 15.5B
コンテキスト長 1M

どこで使えるか

コードとAI研究を自前で進める人向け。1Mトークンで推論コストを抑えたい場合 Hugging Faceで公開済み SWAとDSAのハイブリッド注意機構を使用、ライセンスはmit

動画を見る

スポンサーリンク

解説

かみくだいて説明します

NaiveAI が 2026年9月27日に公開した Naive-N0.5-Flash は、パラメータ数 309B のうち実際に動く部分が 15.5B になる、一部分だけが計算に参加する構造のモデルで、コード生成と AI 研究開発を目的に作られています。1M トークンのコンテキストウィンドウに対応し、計算コストが文章の長さで増えないスライディングウィンドウ アテンションと、必要な部分だけを取り出すディープシーク スパース アテンションを組み合わせることで、長い文章でも高速に処理できるように設計されています。
15.5B だけが実際に動くんですね。研究開発やプログラミングの現場で、このモデルを使う技術者は具体的に何が楽になるんですか?
文章が長くなっても 1 トークンあたりの計算量が変わらないスライディングウィンドウ アテンションが大部分を占めているので、長いコードや論文を読み込ませても処理速度が落ちにくいです。ディープシーク スパース アテンションの方は、長い履歴全体を軽いインデクサーでざっと評価してから、重要な部分だけを取り出して計算する仕組みになっていて、メモリへのアクセスを大幅に減らせます。つまり、何万行にも及ぶコードベースや技術文書を一度に読み込ませても、従来のモデルのように処理落ちやメモリ不足に陥りにくいということです。
重要な部分だけを取り出して計算するんですね。インデクサーの方は全文書を対象にしているのが気になります。
はい。インデクサーは全文書をスキャンしますが、その後の本格的な計算では選択されたトークンだけを対象にするので、全体としての演算量とメモリ使用量は大きく削減されます。この構造に対応させるために、インデクサーの初期化用 50B トークン、スパース アテンションの学習用 3T トークン、学習率の調整用 200B トークンを合わせて 3.25T トークンで段階的な学習を完了させています。
3.25T トークンという膨大な量で段階的に学習を回したんですね。グループ化クエリ アテンションへの置き換えは、計算の効率に直結する設計変更なんですね。
従来のマルチレイヤー アテンションではすべてのレイヤーが同じ方式で動きますが、このモデルでは 4 組のキーとバリューをまとめて扱うグループ化クエリ アテンションに置き換えています。8 つのモジュールを 6 層ずつ並べたネットワークのうち、標準的なモジュールはスライディングウィンドウ アテンション 5 層にスパース アテンション 1 層で構成され、先頭のモジュールの 1 層目もスパース アテンションに切り替えています。
4 組のキーとバリューをまとめて扱うというのは、まだ掴めません。もう少しやさしく言うとどうなるんですか。
辞書の索引を 4 冊に分けて、それぞれの章から必要なページだけ一気に引くイメージです。ページをめくる回数が減るので、長い文章の中でも必要な情報に素早くたどり着けます。
5 対 1 の配置でスパース アテンションを回すんですね。スライディングウィンドウのアテンションは限られた範囲だけを扱う設計なんですね。
スライディングウィンドウ アテンションは 128 トークンの範囲を窓として使います。ディープシーク スパース アテンションの方は、インデクサーが評価した結果から上位 2,048 トークンを backbone 側の計算に選び出しています。両方ともシンクバイアスという仕組みを組み込んでいて、直近のトークンと文書の先頭付近の情報を確実に保持しながら、必要な情報だけを抽出する設計になっています。
直近と先頭を確実に残しながら、必要な部分だけを取り出すんですね。コード生成の性能が顕著に伸びた背景には、このアテンションの切り替えが関係しているんですね。
NaiveAI が公開したベンチマーク結果では、コード生成とエージェント型のタスクで顕著な向上が確認できています。ただし、具体的な数値や比較対象のモデル名については、技術ブログで詳細が公開されていますが、ここでは明示されていません。そこはまだ分かっていません。
具体的な比較の数値は公開されていないんですね。では、このモデルを Hugging Face 上で実際に動かす際に、技術者はどのような準備が必要になるんですか。
Naive-N0.5-Flash はオープンウェイトで公開されているため、モデルの重み自体は誰でも入手して利用できます。ただし、309B のパラメータを持つモデルを動かすには十分なメモリ環境と、スパース アテンション構造に対応した推論フレームワークの準備が不可欠です。学習済みインデクサーの重みと、4 組のキーとバリューを使うグループ化クエリ アテンションのレイヤーを正しく読み込める環境を整える必要があります。
最後に、長い文章を扱うこの構造は、今後他の種類のモデルにも標準的に取り入れられていく見込みですか。
フルアテンション層を持たずにスライディングウィンドウとスパースアテンションを組み合わせて、百万トークンの文脈をそのまま扱えるようにしていて、インデクサーで全体を見つつ実際の計算範囲は絞り込むから、計算もメモリのやり取りもかなり減らせるみたいだよ。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-モデル