拡散モデルの予測と、文字単位の決定を役割分担させる設計を提案
この記事のポイント
- 拡散モデルの役割分担が不明確だった
- 予測状態フローで役割を分けた
- 8、エントロピー5.16、0.31TFLOPs
数字で見る
この記事に出てくる数字
| パラメータ数 | 197M |
|---|---|
| ブロック数K | K=8 |
| エントロピー | 5.16 |
どこで使えるか
拡散モデルの設計を見直したい人向け。連続空間での離散トークンの扱いに課題がある場合 arXivで公開済み 197MモデルでK=8、エントロピー5.16の条件
スポンサーリンク
解説
かみくだいて説明します
Jinjin Heらの研究チームが、2026-10-09に連続拡散言語モデルの仕組みを再設計するPredictive-State Flowsを発表しました。画像生成とは違い、テキストは離散的なトークンの選び取りになるため、拡散モデルが連続空間で細かな違いを捉えるのが難しくなっていました。そこでモデルの役割を分け、拡散の前の段階が文脈から高レベルの予測情報を生み、その先のデコーダーが具体的なトークンを決める設計に切り替えています。
役割を分ける発想なんですね。それまでどこが難しかったんですか?
従来の手法では、文章全体を一つ一つのトークン単位で拡散させていたため、計算量が膨大になり、生成速度も遅くなっていました。新しい手法では文章を複数のブロックに区切り、前の文脈だけから予測状態を計算します。拡散モデルはブロックごとの予測状態だけを生成すれば良くなり、デコーダーはブロックの中だけで順にトークンを並べ、ブロック同士は並列で処理できます。
並列で処理できるなら、速度の向上が期待できそうですね。
OpenWebTextで197Mパラメータ、ブロック数を8に設定したモデルで評価しています。1024トークンの文章1つあたり0.31 TFLOPsの計算コストで、生成パープレキシティは22.8を記録しました。比較対象のELF-Bは32回のサンプリングステップで7.2 TFLOPsと24.0のパープレキシティだったため、計算量はおよそ24分の1に落ち、精度も上回っています。品質を測るMAUVE@512の指標でも0.93と0.73の差が出ています。
計算量は確かに減りましたね。生成パープレキシティというのは何を測る指標なんですか?
文章の自然さを数値化したもので、値が低いほど人間が書いた文章に近い生成結果を意味します。辞書を引きながら文章を作るイメージに近く、予測が外れるたびに迷いが深まっていく様子を表しています。
迷いが深まるほど数値が上がると。では、予測状態を使う理由はどうやって確かめたんですか?
自分でブロックの情報も一緒に持つコンテンツ状態と比べたところ、生成パープレキシティが8から16パーセント悪化しました。またサンプリングで得られた予測状態の軌道を共有の平均値に置き換えると、MAUVE@512が0.11低下しています。拡散側は予測情報の生成に特化し、デコーダー側が細かな選択を担う役割分担が、モデルの設計では有効だったと結論づけています。
自分で情報を持たせず、前の文脈だけから状態を作るのが効率的だったんですね。
評価はモデルの規模と評価データが限られているため、他の条件での振る舞いについてはまだ分かっていません。パラメータ数を増やした時の精度の変化や、異なるデータセットでのテスト結果、そして実際の推論環境でのメモリ使用量については、現時点では具体的な数値が示されていません。
役割を明確に区切ることで、モデルの設計思想そのものが変わっていく話ですね。
PSFモデルは197Mパラメータで、0.31TFLOPsで22.8の生成パープレキシティを達成しました。これはELF-Bの32ステップサンプリングと比較して、7.2TFLOPsで24.0のパープレキシティでした。
最後に、この手法の次に期待する展開を教えてください。
要旨には、拡散前処理とデコーダの役割分担が重要であるという示唆が述べられています。具体的には、連続的なDLMにおける潜在設計はテキストの表現のコンパクトさだけでなく、前処理とデコーダ間の生成役割の分担も考慮すべきであることが示されています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。