VISTAが同等サイズのエージェントで最上位の平均性能を出した。
この記事のポイント
- RLで視覚発見が活用されていなかった
- 同入力ロールアウトの発見を教師が横展開
- 同等サイズのエージェント中最強。ただし評価対象のみ
数字で見る
この記事に出てくる数字
| 同等サイズ中最強 | 1位 |
|---|---|
| 上回るベースライン | 同バックボーン |
| 学習データ数 | 記載なし |
どこで使えるか
同等サイズのエージェントで最良の平均性能を目指す人向け。同じバックボーンの学習ベースラインを一貫して上回る arxivで公開済み 同等サイズエージェント中最強、同バックボーンベースラインも上回る
スポンサーリンク
解説
かみくだいて説明します
Zheng JiangらがarXivに公開したVISTAは、画像を見て判断するAIエージェントが、同じ課題で何度も試行したときの視覚的な発見を学習に活かす手法です。複数の試行で得られた観察結果を共有の指導信号に変え、個々の判断と合わせます。
同じ課題で何度も試すときの、視覚的な発見を共有するんですか? 作る人から見ると、いまの学習とどこが違うんですか?
従来の強化学習では、複数の試行から得た結果をまとめて一つの数値で評価し、画像を詳しく見た部分までは使い切れていませんでした。VISTAではCVEDという仕組みで、試行ごとの画像の観察記録を相互作用の文脈と一緒に整理し、そのエージェントが下した判断に割り当て直します。HAPIという仕組みが成功した経路を強化し、失敗した経路には別の試行で得た経験を手がかりに指導を行います。
成功した経路を強化して、失敗した経路には別の試行の経験を参考にする。経験を生かす教師が、生徒が最初に選んだ答えの途中までを評価するんですか?
そうです。経験を生かす教師が、生徒が出力した答えの接頭辞を評価します。一つの試行で見つけた画像の手がかりを、別の試行の学習に転写しますが、生徒がもともと持っていた相互作用の履歴を置き換えるわけでも、新しい正解の経路を生成するわけでもありません。学習が終わったエージェントは、もともと備える視覚ツールを使い、自分の相互作用の履歴だけで行動を続けます。
自分の履歴をそのまま使って動くんですね。経験を生かす教師とは、具体的にどのような役割を担うんですか。
一つの経路で得た視覚の手がかりを、別の経路の学習に活用する役割です。生徒が出力した答えの途中までを見て判断するため、元の履歴を壊さず、追加の正解データも必要なく、試行ごとの発見をそのまま指導信号にできます。
元の履歴を壊さず、追加の正解データも不要。評価の基準は、どのくらいの大きさのモデルで比べたんですか?
同等の大きさのアクティブなマルチモーダルエージェントの中で、最も平均的な性能を記録しています。微細な知覚タスクと一般的な推論タスクの両方で、同じバックボーンで訓練したベースラインを一貫して上回りました。
微細な知覚と一般的な推論、両方で上回った。使う側からすると、いま困っている視覚の手がかりの取りこぼしが減る話ですか。
複数の試行で得られた視覚的な発見を、個々の判断に合わせられる点です。同じ入力に対して何度もロールアウトしたときの観察を、共有の指導信号として使えるため、従来のスカラーなアドバンテージ推定だけでは活用できなかった情報が学習に乗りやすくなります。
共有の指導信号で、これまで活用できなかった情報が乗りやすくなる。最後に、この手法が適用できるタスクの範囲は、まだ分かっていないんですか。
同等サイズのアクティブなマルチモーダルエージェントの評価範囲と、微細な知覚および一般的な推論タスクの結果に基づいています。他のアーキテクチャや、より大規模なモデルでの振る舞いについては、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。