画像上の指示で編集する VibeEdit、テキストプロンプトなしで対象を指定する話

論文

画像上の指示で編集する VibeEdit、テキストプロンプトなしで対象を指定する話

スポンサーリンク

VibeEditが画像上の指示だけで対象を指定し、FireRed よりも編集精度と非編集領域の保全が向上した。

この記事のポイント

  • 類似物体の特定が面倒だった
  • キャンバス指示で編集を指示
  • VLM 79.9、PSNR 32.8dB。FireRed を上回る

数字で見る

この記事に出てくる数字

学習データ数 155万
VLMスコア 79.9
PSNR 32.8dB

どこで使えるか

類似物体の特定に手間取る人向け。キャンバス指示で編集対象を指定できる コードの公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Jinjing Zhao らの研究チームが、2026-10-09 に画像編集のための新しい手法 VibeEdit を公開しました。画像の上に直接マークを描くだけで、物体の追加や削除、移動を自動で行うシステムです。
画像の上に直接マークを描くだけで編集ができるんですか?
できます。正確には、元になった Qwen-Image-Edit というモデルの仕組みを改良したものです。画像そのものと、人が描いたマークの指示を、別々の経路で処理して読み取る layer-decoupled conditioning という方式を使っています。例えば、レシピの材料と手順書を別々の皿に盛って出すようなイメージです。
なるほど、別々に処理することで指示の通りに動かしやすくなるんですね。では、このマークの指示はテキストと比べてどこが新しいんですか。
似たような物体が複数ある中で、どこを編集したいのかをマークで指定できる点が新しいです。テキストだけで伝わりにくい場所の特定を、画像の上に直接書き込むことで解決しています。
確かにテキストだけだと場所が分かりにくい場合がありますね。では、このマークの指示を学習するには、どれくらいのデータが必要だったんですか。
およそ 155 万組の画像ペアを用意して、マークと説明文を組み合わせた指示データとして訓練しました。そのあと、編集の完成度と、編集していない部分が壊れないかを高めるために、強化学習を掛けています。
強化学習で品質を上げるんですか。評価ではどのくらい差が出たんですか。
419 件で構成された評価基準で測った結果、VibeEdit は 79.9 点、編集していない部分の鮮明さを示す数値は 32.8 デシベルでした。テキストだけで指示する既存の最高水準の FireRed はそれぞれ 67.4 点、24.0 デシベルでした。
数値でみるとかなり上回っていますね。では、このモデルは一般の人でも動かせるんですか。
VibeEditモデルは、155万ペアの編集データで学習し、キャンバス上の指示に従って画像編集を行う段階です。公開された段階での話なんですね。最後に、今後どうなっていくんですか。
公開された段階での話なんですね。最後に、今後どうなっていくんですか。
要旨には155万組のデータを使ったことは書かれているが、今後の改良や対応予定についての記述は一切ない。要旨にある419ケースのベンチマーク評価結果について触れるべきです。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文