視覚と計画を1つのグラフでつなぐSoftSymbolic、推論速度と成功率を同時に上げる話

論文

視覚と計画を1つのグラフでつなぐSoftSymbolic、推論速度と成功率を同時に上げる話

スポンサーリンク

SoftSymbolicが視覚と計画を1つのグラフで結び、Blocksworldの600タスクで596を達成した。

この記事のポイント

  • 知覚の不確実性を無視して計画していた
  • 知覚と計画を1つのグラフで繋いだ
  • Blocksworldで40/40と596/600を達成。ただし同規模の推論モデルには及ばない

数字で見る

この記事に出てくる数字

成功率向上 59%→83%

どこで使えるか

知覚と計画を一体化して最適化したい人向け。タスク遂行中に視覚表現を改善できる arXivで論文公開済み Blocksworld環境のシミュレーション結果

動画を見る

スポンサーリンク

解説

かみくだいて説明します

ロボットが不確かな視界の中でも正確に物を認識して、論理的な手順で行動を計画するって、私が見ても確かに難しいですよね?
確かにその通りです。実世界のタスクでは知覚と計画が別々に設計されがちですが、両方を単一の計算グラフで繋ぐ発想が重要になります。
従来の手法は知覚結果を離散的な記号に変換して計画しますよね?でも、その過程で知覚の不確実性が捨てられてしまうんじゃないですか?
確かに捨てられます。記号化の段階で確率情報が失われ、計画段階からのフィードバックが知覚パラメータに戻らなくなるため、現場では精度が頭打ちになりがちです。
arXivで公開された研究は、視覚知覚とタスク計画を完全に微分可能なニューロ・ソフトシンボリックフレームワークで統合しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
連続したソフトシンボル状態を維持しつつ、ドメインルールを微分可能なソフトT_P遷移演算子として昇華します。短い計画ホライズン上で行動ロジットを最適化し、計画目標からの勾配が知覚ネットワークを直接更新する仕組みです。
知覚と計画が同じ勾配伝播で繋がっているんですね!確かに理にかなっています!
勾配が計画から知覚側にも伝わるので、タスクに合った知覚表現が計画中に自ら磨き上げられるんです!
実際の性能向上はどれくらいあるんですか?
Blocksworld環境でのLatPlan-40タスクを40件中40件、PlanBench-600を600件中596件解決しています。従来のナイーブなGPU実装や推論モデルベースラインを大幅に上回り、必要な計算量と所要時間も大幅に削減しています。
凍結知覚の場合との差はどれくらいですか?
知覚不確実性を含むアブレーション実験では、知覚パラメータを凍結した59%から、本手法で83%の成功率に引き上げています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに。この手法は視覚知覚とタスク計画を単一の計算グラフで結び、計画目標からの勾配で知覚パラメータも更新するため、タスク遂行に即した知覚表現を計画中に自ら磨き上げます。
実際の試し方はどうすればいいんですか?
公開コードはGitHubで入手可能です。Blocksworldシミュレータをローカルに構築し、提供された設定ファイルで推論パイプラインを走らせるだけで検証できます。
現時点の検証はシミュレーション範囲に限定されていますが、タスクとモーションの互換性をエンドツーエンドで検証できた点は大きいです。
実機ロボットへの応用も夢じゃなくなりそうです!確かに期待大です!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文