複雑な指示で中間の領域も追跡する ReferFlow、推論速度と精度を向上させる話

論文

複雑な指示で中間の領域も追跡する ReferFlow、推論速度と精度を向上させる話

スポンサーリンク

ReferFlowが、複雑な指示の中間ステップも正しく追跡できるようになった。

この記事のポイント

  • 中間参照の定位を評価していなかった
  • 4 段階の幾何制約で座標を並列に復元
  • 一般ベンチと新規ベンチで最高性能

数字で見る

この記事に出てくる数字

精製ラウンド数 4回
トラジェクトリタイプ数 4種類

どこで使えるか

複雑な指示の中間ステップも追跡したい人向け。幾何制約で座標を並列に復元し、モデルの選択幅を広げる。 arxivで公開済み 4種類のトラジェクトリタイプを評価

スポンサーリンク

解説

かみくだいて説明します

Tianyi Gaoらの研究チームが、2026年10月15日にarXivへ論文を公開しました。複雑な指示で画像の中の物体を指定する技術について、最終的な目的地だけでなく、途中の経路も正確に追えるようにする新しいモデルと評価データセットを提案しています。
なるほど、最終地点だけじゃなく途中の動きも見るんですね。これまでと比べて、どこが新しくなったんですか?
従来は指示の最後にある物体だけを正しく見つけられるか評価していましたが、今回の研究では「まずAを見て、次にBへ移って、最後にCを指定する」ような段階的な指示を、順番通りの経路として扱っています。例えば旅行の案内で「駅を出て、左の信号を渡り、2番目の交差点を右へ曲がってください」と言われたとき、各交差点でちゃんと止まれるかまで見るイメージです。
各ステップで迷わず止まるかまで見るんですね。文章と座標の計算を分けた仕組みが今回の核心のようですね。
文章から経路の情報を取り出す作業と、具体的な座標を計算する作業を分けました。座標を出す部分は4回の修正を並行して行い、それぞれの修正で前の経路の情報を使いながら、一度に複数の物体の位置を割り出しています。
4回の修正を並行して行うんですね。並行して座標を出すというのは、具体的にどういう仕組みですか。
正確には、一度に全部を完成させるのではなく、各ステップの座標ブロックを同時に準備して、4回の修正で仕上げていく作業です。従来のやり方では順番に計算する必要がありましたが、今回は4つを同時に準備してから、必要な部分だけ4回で仕上げる形にしています。
同時に準備してから仕上げるんですね。4つのパターンに分けた評価データセットの構成が気になる部分ですね。
すでに指定した物体を別の場所に動かす移動、同じ物体をより詳しく指定する精密化、前の指示をリセットして新しい目標へ移る切り替え、そしてこれらを組み合わせた混合です。実測では既存のモデルが途中のステップで迷うケースが多く、今回提案したモデルが最も正確な結果を出しています。
既存のモデルが途中ですぐに迷うんですね。では、この技術を自分の仕事でAIを組み込む場合、実際に動かすのに何が要りますか。
論文にはコードとモデルの重みの公開予定が記載されていますが、具体的な公開時期や動作に必要な計算資源の規模については、そこはまだ分かっていません。
確かに!最後に、この技術が実用化される見通しはどのくらい先ですか。
現時点では、連続する手順ごとに中間の視覚参照を正しく捉え続けることが、モデルにとって課題として残っています。
あわせて、今月出たマルチモーダルモデルで連続潜ベクトルによる中間推論を更新する手法も、この課題に応用できる可能性があります。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文