インタラクティブ環境で推論するマルチモーダルモデルの視覚ハネス VISTA

論文

インタラクティブ環境で推論するマルチモーダルモデルの視覚ハネス VISTA

スポンサーリンク

VISTAが Claude Opus 5.0 を使い、ARC-AGI-3 で人間より 57.4% 少ない操作で全問正解した。

この記事のポイント

  • ハネスで多様な環境の能力を引き出す
  • VISTAで長期視覚と損失なし記憶を実現
  • ARC-AGI-3で100点。3追加ベンチで大幅上

数字で見る

この記事に出てくる数字

ゲーム数 25
行動削減率 57.4%

どこで使えるか

視覚環境での推論を強化したい人向け。長期記憶と能動的検索で操作数を大幅削減 論文に記載なし コード公開の記載は本文にない

スポンサーリンク

解説

かみくだいて説明します

Qiushi Hanらの研究チームが、2026年10月2日にarXivへVISTAを公開しました。モデルに長期の視覚記憶を持たせ、過去の観察結果をそのまま保存して必要な時に呼び出せる仕組みです。ARC-AGI-3のテストでClaude Opus 5.0のスコアを40.68から100.00に引き上げ、初回参加の人間より57.4%少ない手数で全25ゲームをクリアしました。
なるほど、過去の映像をそのまま残しておいて、自分で取り出せるんですね。開発する側からすると、新しいモデルをいちから作るよりずっと楽な話ですね。
正確には、モデルそのものを変えるのではなく、外付けの装置のように取り付ける形です。画像認識の部分だけを入れ替えるので、同じモデルを違うゲームやパズルに使う時も、ほとんど手を加えずに対応できます。
losslessという仕組みは、具体的にどう動くんですか。そこがまだ掴めません。
情報落ちなしで保存するということです。写真アルバムを丸ごと机の上に広げておくような状態で、必要なページだけめくって使えるイメージです。映像の解像度やフレーム数が増えれば当然データ量は膨らみますが、モデルが自分で必要な部分だけを取り出す仕組みになっているので、常に全データを処理するわけではないはずです。
机の上にアルバムを広げて、必要なページだけめくって使えるんですね。では、研究者の立場で聞きたいんですが、ARC-AGI-3で完璧な100点を取れた理由は何ですか。
従来はモデルが画面の変化を追うだけで、前の局面を忘れてしまうケースが多かったのです。VISTAは過去の観察結果をいつでも呼び戻せるので、推理の過程で「あそこでこうなったな」と視覚情報を組み直しながら進められます。その結果、初見の人間より57.4%も手数を抑えて全25ゲームを完走した形です。
前の局面を忘れないから、推理の途中で視覚情報を組み直せるんですね。確かに!
ARC-AGI-3以外に3つのベンチマークで試したところ、同じモデルを使った従来の簡易なハネスを大きく上回る結果でした。ただ、それぞれのテストでどれだけ点数が伸びたかの具体的な数字は、今回の公開資料には含まれていません。
3つのテストで従来のやり方より大幅に上回ったんですね。では、実用に使う場合、計算資源はどれくらい必要になりますか。
計算資源に関する具体的な仕様や必要メモリについては、今回の資料では触れられていません。そこはまだ分かっていません。
仕様の方はまだ非公表なんですね。なるほど。
VISTAは視覚環境を最小限の適応で拡張できることが示されており、三つの追加のベンチマークでも同じ基盤モデルを使う対照群を上回っている。
複雑な環境での評価が進む見込みなんですね。最後に、このVISTAの仕組みを他のAIモデルにも適用するのは容易ですか。
VISTAはもともとの設計がシンプルにまとめられているから、手を加える量を最小限に抑えたままでも、いろんな視覚に関わる環境に対して自然に対応の範囲を広げていけるみたいだよね。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文