離散データに不確実性を残す Simplex Diffusion Models、推論ステップを減らす話

論文

離散データに不確実性を残す Simplex Diffusion Models、推論ステップを減らす話

スポンサーリンク

Simplex Diffusion Modelsが、推論ステップを減らしても性能を維持する手法として提案された。

この記事のポイント

  • 離散拡散は中間で不確実性を失う
  • 確率单纯形で拡散しDDIM様サンプラ導入
  • GSM8Kで8ステップが128ステップ超え

数字で見る

この記事に出てくる数字

GenPPL 17.0
推論ステップ数 64

どこで使えるか

数学推論を少ないステップで解きたい人向け。8ステップで128ステップの手法を上回る arXivで論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Justin Deschenauxらのチームが2026-09-29にarXivへ提出したSimplex Diffusion Modelsは、離散データの生成において中間ステップで情報が失われる問題を解決するフレームワークです。64ステップでGenPPL 17.0、ユニグラムエントロピー 5.46を達成しています。
中間ステップで情報が失われるというのは、これまで使われていた手法に何が足りないんですか?
従来の手法はカテゴリーサンプリングで不確実性を捨てていたため、情報崩壊が起きていました。Simplex Diffusion Modelsは確率単体という空間に拡散過程を昇華させ、カテゴリに対する信念をステップごとに保ちます。
確率単体で信念を保つ、つまり答えを絞り込むのを遅らせるということですね。そこがまだ掴めません。もう少しやさしく言うとどうなりますか?
正確には、複数の候補に重みを残しながら正解に近づくイメージです。従来の手法が一度に一枚のカードを裏返すような選び方をするなら、Simplex Diffusion Modelsはすべてのカードの裏側を薄く透かしながら、だんだんと正解の色を濃くしていく作業に近いです。
なるほど!では、現場で組み込む技術者から見ると、この手法は既存のコードを置き換える話ですか、それとも追加で使う話ですか?
既存の手法と並列で使える位置づけです。OpenWebTextでは強力なベースラインと競合する性能を出しており、コード生成のTinyGSMでは自己条件付けなしでも 49.0%を達成し、従来の手法の 45.8%を上回っています。
性能差ははっきり出ているんですね。では、計算ステップを減らした際の速度はどうなりますか?
8ステップに蒸留した状態でGSM8Kの 32.1%を解けます。これは128ステップの従来の離散拡散モデルが 21.4%だったのを大きく上回る数字です。
8ステップと128ステップを比べると、ステップ数は大幅に減っていますね。DDIMに似たサンプリラーなら、確率性の調整が現場で使いやすそうですね。
はい。Dirichlet Flow Matchingが常微分方程式を積分する必要があったのに対し、Simplex Diffusion ModelsはDDIMに似たサンプリラーを導入し、確率性のレベルを調整できるようにしました。交差エントロピー損失だけで学習できるため、組み込みの手間も減っています。
調整可能な確率性で組み込みも楽になる。では、まだ解けていない課題や限界はありますか?
材料には具体的な未解決課題の記載はありません。そこはまだ分かっていません。
なるほど。
つまり、8ステップに圧縮してもGSM8Kの32.1%を解けるのがSDMの強みだということですね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文