Xing4.0-29B-A4Bが公開。29B 中 4B だけ動かして 256K 文脈、vLLM で使える
この記事のポイント
- 中国電信のLLM
- 256Kの長い文脈に対応
- Ascend NPUで訓練
数字で見る
この記事に出てくる数字
| 総パラメータ | 29B |
|---|---|
| 活性化パラメータ | 4B |
| コンテキスト長 | 256K |
どこで使えるか
256Kの長文脈を処理したい人向け。vLLMやSGLangで手軽に推論可能 Hugging Faceで公開済み vLLM/SGLang/KTransformers対応
動画を見る
スポンサーリンク
解説
かみくだいて説明します
XingChen-AGIが、29Bの総パラメータを持ちながら1トークンあたり4Bしか動かない大規模言語モデル Xing4.0-29B-A4Bを公開しました。中国電信のAI技術会社が開発し、256Kの長い文章を扱え、512Kまで拡張も可能です。
29Bのうち4Bだけ使う仕組みですね。作る側からすると、既存の環境にそのまま組み込めますか。
OpenAIと同じ形のAPIでアクセスできるほか、vLLMやSGLangといった主要な推論フレームワークに対応しています。ただ、この規模のモデルをAscend NPUとMindSporeというプラットフォームだけで訓練したのは初めてで、複雑なエンジニアリング作業に特化して最適化されています。
使う道具が中国国内のプラットフォーム限定なんですね。動かすのに別途準備が要りますか。
対応しているvLLMやSGLangは海外でも広く使われていますが、訓練に使ったAscend NPUやMindSporeは中国電信が中心に開発したものです。モデル自体はTransformers形式で公開されているので、それに対応する環境なら読み込みは可能です。
文章の長さの上限が256Kで、512Kまで延ばせるんですか。どれくらいの分量が扱えるのか、イメージが掴めません。
正確には256Kが標準で、512Kは拡張モードです。Kが1000なので、256Kはおよそ25万6000トークン、512Kならおよそ51万2000トークンです。日本語の文字に換算すると、小説1冊から2冊分の分量に相当します。
小説2冊分が一度に読めるんですね。複雑なエンジニアリング作業に特化していると聞きましたが、具体的に何が得意になるんですか。
要旨に具体的な得意分野のリストはないですが、複雑なエンジニアリングタスクに最適化されています。計算量を抑えつつ256Kの長いコンテキストをネイティブにサポートしているのが特徴です。
計算量を減らして同じ精度、つまり同じ性能を低いコストで出せるんですか。研究する側から見ると、どこが新しいんですか。
総パラメータ29Bに対して動作するのは4Bだけなので、同じ規模のモデルと比べて必要な計算資源が大幅に減ります。これまでは29Bクラスのモデルを動かすのに多くのGPUが必要でしたが、この仕組みなら少ないリソースで済みます。
リソースが少なくて済むなら、現場の導入が進みそうです。最後に、今後の展開について何か分かっていますか。
公開日は未定ですが、GitHubに詳細な起動手順が掲載されています。拡張モードの512Kが標準で使えるようになる時期や、他のフレームワークへの対応予定については、そこはまだ分かっていません。
出典
この記事のもとになった情報
- Hugging Face:XingChen-AGI/Xing4.0-29B-A4B
- 公開日:2026-09-16
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。