FlowToolは推論の遅延を50倍以上減らし、メモリ使用量も2倍近く少なくした。
この記事のポイント
- 従来は順序立てて推論していた
- フローマッチングでパラメータを直接生成
- 推論が速くメモリも減った
どこで使えるか
論文公開済み
動画を見る
スポンサーリンク
解説
かみくだいて説明します
Thanh-Long V. Leらの研究チームが、2026 年 9 月 29 日に画像のリタッチ作業を自動で処理する新しい手法 FlowTool を公開しました。従来の手法は文章を順番に生成して編集の道具と数値を決めていましたが、この手法はノイズから直接編集計画を生成します。推論の段階を飛ばすことで、処理の遅延を 50 倍、メモリ使用量を 2 分の 1 まで削減することに成功しています。
従来のように順番に考えずに、一気に数値を出してしまうわけですね。研究している人から見ると、どこが新しいんですか。
従来のモデルは道具を選んで数値を出すまでを文章のように一つずつ生成していました。FlowTool はそれを、画像と指示を入力すると連続した数値の分布を直接生成するように切り替えています。例えば写真の明るさを調整する際、従来の手法はまず明るさを決める言葉を出力してから次に数値を出力しますが、この手法は必要な数値を一度に結びつけて出力します。
文章を一つずつ繋げる代わりに、必要な数値をまとめて出すんですね。では、その仕組みを作る上で何が要るんですか。
画像と指示を理解させる基盤に、Diffusion Transformer と呼ばれるパラメータ生成器を組み合わせます。ガウスノイズと呼ばれるランダムな点から、編集に必要な数値の計画を形作る役割です。学習は二段階の監督学習で曲線に沿って数値を合わせてから、報酬ベースの追加学習で精度を上げる構成です。
二段階で学習させてから、報酬で磨き上げる構成なんですね。Diffusion Transformer がノイズから計画を作るイメージを、もう少し分かりやすく説明してもらえますか。
霧の中を歩くイメージです。最初は方向が分からない点群ですが、段階を追って目的地である編集数値へと収束させていきます。同じタスクをこなすのに必要な計算量が劇的に減ることを意味し、実機での動作確認はまだ行われていませんが組み込み環境への適用も見込める数値です。
計算の量が減ることで、重いモデルでも軽快に動かせるという話ですね。使う側から見ると、いま困っていることのどれが減りますか。
大量の画像処理やリアルタイム性が求められる編集作業で、待ち時間が大きく削れます。また、メモリ使用量も比較モデルの半分程度に抑えられており、環境の制約が厳しい場面でも活用しやすくなっています。
待ち時間が削れるのは確かに大きいですね。では、次はどのような展開が予想されますか。
要旨には、FlowToolがMMArt-Bench、FlowTool-Eval、ArtEdit-Bench、MIT-Adobe5Kという4つのベンチマークで、専門のMLLM編集エージェントや専用モデルを上回る性能を示したとあります。また、参照なし評価でも専用モデルと競合する結果だったと報告されています。
最後に、これが実用化される上で何がまだ分からないかを教えてください。
参照ありのベンチマークでは競合モデルを上回り、参照なしの評価でもプロプライエタリモデルと遜色ない結果が出ています。推論速度は50倍以上速く、メモリ使用量も半分以下に抑えられているので、実用面での強みは明確です。
出典
この記事のもとになった情報
- arXiv:FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
- 公開日:2026-09-29
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。