Intern Lumina U2が画像生成と理解を統一。生成が 4.45 倍高速に。
この記事のポイント
- 単一コードブックでは表現力が限定的
- マルチコードブックを完全離散空間で処理
- 画像生成が4.45倍高速化
どこで使えるか
画像生成と理解を自前で統合したい人向け。マルチコードブックで表現力と高速化を両立 論文発表のみでコード公開は記載なし AscendとNVIDIA両プラットフォーム対応
スポンサーリンク
解説
かみくだいて説明します
2026-10-15に、Qian Yuらの研究チームがarXivに論文を発表しました。画像や動画、三次元データを同じモデルで理解して生成できる「Intern Lumina U2」を発表したものです。テキストと画像の処理を一つの空間で一緒に最適化できるようにしたのが特徴です。
なるほど、テキストと画像を同じ場所で処理するんですね。では、画像の情報を記録するために、具体的にどう工夫したんですか。
画像の各位置を、複数の辞書から選んだコードの組み合わせで表す仕組みにしました。辞書というのは画像の特徴をまとめた帳面で、それを複数用意して組み合わせることで、表現できる情報の量を大幅に増やしています。
辞書を増やして情報を詰め込むわけですね。情報量が増える分、モデルの負担が気になります。
計算量は増やさずに、画像の生成を4.45xに加速しました。これは、生成過程で信頼できる部分だけを残して、ずれた部分だけを最新の情報に書き換える手法を組み合わせたためです。専門用語では安定性Awareサンプリング戦略と呼んでいます。
安定性Awareサンプリング戦略、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
別の言い方をすると、長い文章を写す際に、すでに完成している段落はそのまま残し、間違えそうな部分だけ都度校正するイメージです。モデルも同じで、自信のある出力はそのまま使い、揺らぎが出た部分だけ計算し直すことで、無駄な時間を省いています。
なるほど、無駄な計算を省くわけですね。二つの環境で動かせば、現場での導入も進みそうです。
訓練から推論、評価までの全工程を、AscendとNVIDIAの両方のプラットフォームで動くように構築しました。視覚の理解や画像生成、画像の編集において、統一型のモデルの中で最も高い性能を達成しています。
確かに、一つの枠組みで全てを回すんですね。動画や三次元データも一つのモデルで扱えるのは、開発側にとって大きなメリットですね。
4次元の表現形式であるATokenの上に構築しているため、画像だけでなく動画や三次元データも同じモデルで処理できます。入力部分では各位置で埋め込みベクトルを結合し、出力部分では複数のコードを順番に予測する軽量なヘッドを使っています。
最後に、重さや正確な数値が知りたいところです。モデルの具体的な重さや、動画処理の性能数値については、どこまで分かっているんですか。
正確な数値については、画像生成が4.45倍の高速化を達成しており、画像・動画・3Dの統一モデルとして最先端のパフォーマンスを達成しています。
あわせて、先月には画像と動画の理解と生成を統一されたモデルで実現することに取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。