EOS-Storyが、トレーニング不要で物語画像のシーン適応とアイデンティティ保持を両立した。
この記事のポイント
- シーン変化への適応が不十分
- アイデンティティとシーンを分離し残差を注入
- ベンチマークで競争力のある性能
どこで使えるか
物語画像でシーンとキャラクターの両立を図る人向け。学習不要でモデルを選ばない 論文公開済み(arXiv) トレーニング不要のフレームワーク
スポンサーリンク
解説
かみくだいて説明します
SeungJu Chaらの研究チームが 2026 年 10 月 16 日、物語のプロンプトから画像を連続して生成する技術 EOS-Story を公開しました。既存の手法は登場人物の顔立ちを保つことに重点を置いていましたが、背景や構図の変化に対応できず、意味のずれや形崩れが起きていました。この手法は学習なしで対応します。
なるほど。プロンプトから画像を作る時に、背景が変わると人物が崩れてしまうんですね。では、テキスト空間では具体的にどう対処するんですか?
物語を登場人物の部分と背景の部分に分けて、情報が薄まるのを防ぎます。ただ、背景だけだと人物の外見の情報が届かないので、そこを Cross-Contextual Bridging という仕組みで補います。これは例えば、人物の説明が「赤いジャケットを着た男性」のとき、背景の説明にそっとそのジャケットの色を染み込ませるイメージです。
背景にも人物の色味を透かすように伝えるんですね。では、画像空間の方はどう変わるんですか?
人物と背景の大きさのバランスがずれると、人物の特徴を何度もコピーしてしまい、形が歪む問題がありました。これを Adaptive Identity Preservation で解決します。人物の特徴を背景の大きさに合わせて固定してから、Attention という仕組みで自然に混ぜ合わせるのです。Attention は文章の中でどの言葉が重要かを見る目印のようなもので、今回は人物の特徴がどこに属するかを正確に判断させます。
人物の特徴を背景のサイズに合わせた上で、目印で場所を正確に配置するんですか。そこはまだ掴めません。目印がどう判断するんですか?
正確には、人物の特徴ベクトルと背景の特徴ベクトルの距離を測り、最も近い位置に人物を配置します。身近な例で言うと、写真のレタッチで人物を切り抜いて、別の背景に貼り付ける時、切り抜き枠の大きさを背景の構図に合わせてから、隅々まで自然に馴染ませる作業に似ています。
切り抜き枠を構図に合わせてから馴染ませる、というイメージですね。評価はどのくらい上がったんですか?
既存の Consistory+ という評価基準と、撮影アングルを変えた Consistory+_+ という新しい基準の両方で、同等かそれ以上の成績を出しました。Consistory+ は物語の画像が連続した時に、登場人物が同じかどうかを点数で測るものです。例えば、同じ主人公が描かれた 10 枚の写真から、5 枚だけ選んで点数をつけるテストに似ています。
既存のテストと新しいテストの両方で良い結果が出たんですね。では、この手法を既存のモデルに組み込む際、再学習は必要ですか。手元で動かすのに追加の計算資源は要りますか。
学習は要らないので、すでにある拡散モデルにこの仕組みをそのまま組み込めますね。
追加の計算資源が要らないなら、現場での導入は楽そうですね。最後に、今後の展開はどうなるんですか?
今はテキストと画像のデータで性能を確かめていて、識別性と場面ごとの調整を両方の表現空間で両立させる手法です。
あわせて、先月にはプロンプト内のオブジェクトや属性構成を正確に保持する別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。