dQwen3.5は、フルアテンション対比で学習損失に達するトークン数が約半分
この記事のポイント
- フルアテンショントランスフォーマーからハイブリッドへ移行した
- RNN層は双方向化が難しく、適応が困難だった
- ハイブリッドは同等の損失に半分のトークンで到達
数字で見る
この記事に出てくる数字
| 学習効率 | 約半分 |
|---|
どこで使えるか
ハイブリッドモデルを拡散モデルに転用したい人向け。学習コストを削減できる dQwen3.5で公開済み
スポンサーリンク
解説
かみくだいて説明します
Anton Xueらの研究チームが、2026-09-18 に dQwen3.5 を公開しました。既存のモデルを改良して文章を生成する拡散言語モデルを作ったものです。0.8B、2B、4B、9Bの 4つのサイズを用意し、ハイブリッド型と呼ばれる構造を使っています。
ハイブリッド型というのは、どういう仕組みですか。
従来のモデルは文章のすべての部分に同じ重みを置く全注意機構を使っていました。これに対しハイブリッド型は、重要な部分にだけ注意を向ける層と、前の情報を順にたどるリカレント層を交互に並べた構造です。
リカレント層のところ、まだ掴めません。もう少しやさしく言うとどうなりますか。
前の行の内容を箱に詰めて、次の行に渡すイメージです。全注意機構が一度にすべての単語を参照するのに対し、リカレント層は直前の情報を順次受け渡すだけで済みます。
なるほど。だとすると、この dQwen3.5 は学習にどれくらいの効率が出たんですか。
全注意機構のモデルと比べた場合、同じ訓練損失に達するまでに必要なトークン数が、およそ半分になりました。同じ精度を出すのに、必要なデータ量が半分で済むということです。
データ量が半分で済むなら、作る側の負担は大きく減りますね。生成するときの速度はどうですか。
並列デコードでも強く動作します。複数のトークンを同時に生成できるため、効率的に文章を生成できます。
作る人から見ると、この効率化は既存の環境でそのまま使えますか。
具体的な動作環境の記載はありません。そこはまだ分かっていません。
0.8Bから 9Bまで揃えていますが、実用に耐える規模感はまだ見えていますか。
0.8Bから9Bの規模で評価した結果、いずれも実用的な性能を示しています。今後、さらに大きな規模での動作検証も期待されます。
最後に、今後どのような展開が予想されますか。
Qwen3.5の0.8Bから9Bまでのスケールで適応を行い、dQwen3.5ファミリーを構築しました。ハイブリッドバックボーンは適応の効率的な出発点となることが分かりました。
出典
この記事のもとになった情報
- arXiv:dQwen3.5: Hybrid-Attention Diffusion Language Models
- 公開日:2026-09-18
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。