NCP-ArchPreview、次概念予測で潜在空間言語モデルを構築し、推論の効率化とドメイン適応を両立させる話

論文

NCP-ArchPreview、次概念予測で潜在空間言語モデルを構築し、推論の効率化とドメイン適応を両立させる話

スポンサーリンク

NCP-ArchPreviewが、51.3% のトークンで OLMo-3-7B に匹敵する損失を出した。

この記事のポイント

  • 次トークン予測に加え、複数トークンをまたぐ概念予測を導入
  • 学習トークンの51.3%で同等の損失に達し、計算量85%で同規模基準の損失に迫る
  • VQモジュールの更新やドラフターへの注入で、学習後の活用も可能

数字で見る

この記事に出てくる数字

パラメータ数 8.9B
学習トークン数 5.73T
GSM8K 改善 5.99点

どこで使えるか

推論コストを削りたい人向け。VQモジュール更新でドメイン適応も可能。 arXivで論文公開済み コード・モデル公開の記載なし

動画を見る

スポンサーリンク

解説

かみくだいて説明します

The Intern-NCP Teamが、2026-09-10にNCP-ArchPreviewという新しい言語モデルを発表しました。パラメータ数は8.9Bで、Dolma-3データセットから5.73Tトークンを学習させたものです。
新しいモデルですか。普通のモデルと何が違うんですか。
普通のモデルは次の言葉を一つずつ予測しますが、このモデルは複数の言葉をまとめて一つの概念として予測します。天気予報で明日の天気だけを見るのではなく、朝の気温と午後の雨の組み合わせをまとめて当てるようなイメージです。
なるほど、まとめで予測するんですね。概念って具体的に何を指すんですか。
複数の言葉をまとめて一つの意味の塊と捉えたものです。文脈から自然と浮かぶテーマや、まとまりのある情報のかたまりです。
かたまりとして扱うなら、予測の精度は落ちませんか。
落ちません。複数の言葉をまとめて予測する方が、より挑戦的な概念レベルの目的を導入できるためです。
なるほど、精度は保つんですね。どうやって学ぶんですか。
モデルの内部状態から似た意味の言葉をグループ化して辞書を作り、その辞書で次の概念を当てる訓練と、普通の次の言葉予測の訓練を同時にやります。
同時にやるんですか。計算量は増えるんですか。
実は減ります。訓練に必要なトークンの51.3%でOLMo-3-7Bに追いつき、計算量は標準の85%で同じ大きさのモデルに並ぶ性能を出しています。
85%で同じ性能なら効率が良いですね。実際の成績はどうなりますか。
訓練を最後まで回すと、OLMo-3-7Bをマクロ平均で2.45ポイント上回り、数学の問題が解けるGSM8Kでは5.99ポイントの差がつきました。
数学の成績が特に上がりますね。作る人から見ると、手元で動かすのに何が要りますか。
訓練が終わった後も使えます。わずか17Mパラメータの辞書部分だけを取り出して書き換えるだけで、新しい分野に対応できます。別の生成を速めるDFlash2に概念を差し込むと、平均の受け入れ長が4.17%伸びます。
辞書だけ書き換えるだけで新しい分野に行けるんですか。
そこはまだ分かっていません。今回の報告ではDolma-3データセットまでの結果で、さらに大きいデータでどうなるかは未確認です。
最後に、実用化の目途は立っていますか。
現時点では研究段階の報告です。内部の辞書構造をどう実装するか、実際のシステムに組み込むにはまだ検証が必要な段階です。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文