Ego2Worldが料理動画を推論環境に変換。信念状態の維持で視覚照会が **90.27%** 減少
この記事のポイント
- 自己の行動結果の評価が難しかった
- 調理動画を計画環境にコンパイル
- 持続信念で妥当性向上、ただし完了は確認できず
数字で見る
この記事に出てくる数字
| プランナー数 | 6 |
|---|---|
| タスク数 | 105 |
| 視覚クエリ削減 | 90.27% |
どこで使えるか
信念状態の維持による計画評価を自前で試す人向け。6プランナーで妥当性向上と視覚クエリ削減を確認 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Qinchuan Cheng さんたちの研究チームが、arXiv に Ego2World というベンチマークを発表しました。家庭の料理動画を解析して、AI が自分で計画を立てて行動できる環境に自動変換するものです。
料理の動画から AI が動く場所を作るんですか。これまでと何が違うんですか。
動画の中の動作や食材を記号のルールに置き換え、台所の変化をずっと覚えておく仕組みにしています。AI が次に何をするかを決める時、映像だけで判断するのではなく、前の手順で何を使ったかという情報を別に管理します。
なるほど。映像の足し算じゃなくて、前の手順の情報を別に管理するんですね。
そうです。6 つの計画手法を 105 個のタスクで試した結果、AI が許可された動作の多くが、結局目標を達成できていないことが分かりました。動画の通りに動いても、料理が完成しないケースが思ったより多いということです。
許可された動作でも目標が達成できないんですか。記憶を保持する仕組みが、確認の回数を減らす方向に働くんですね。
Qwen-Plus というモデルで調べたところ、記憶を保持する設定にすると、動作の正しさが 4.15 ポイント上がりました。映像で確認する回数は 90.27% 減りますが、使うトークン数は増え、完成率自体は上がっていません。
なるほど。確認の手間は大幅に減るのに、完成率は変わらないんですか。ずっと覚えている状態というのは、具体的にどういうイメージですか。
料理人の頭の中にあるメモとイメージしてください。実際の台所では調味料を減らしても、AI の方はまだあると思い込んでいる状態です。このズレを別に追うことで、どこで計画がずれたかを正確に調べられます。
頭の中のメモと実際の台所のズレを測るんですね。記録された人間の動きが、AI の開発や評価にどう役立つか分かるんですね。
計画の組み立て方や記憶の使い方が、実行結果や確認回数、目標達成にどう影響するかを追いやすくなります。ただし、トークンの増加と完成率の向上が並行しない理由は、そこはまだ分かっていません。
最後に、この仕組みが実用に近づくには何が要りますか。
計算量と判断妥当性の関係や、実運用に向けた検証の要否は要旨で確認できない。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。