イベントカメラの信号を逐次処理する REACT、リアルタイムの推論速度と省電力

論文

イベントカメラの信号を逐次処理する REACT、リアルタイムの推論速度と省電力

スポンサーリンク

REACTが、推論遅延4.6msでリアルタイムの衝突時間推定を実現した

この記事のポイント

  • 従来の手法はイベントを蓄積していた
  • 逐次処理するスパイキング状態空間モデル
  • 学習手法に迫る精度と低遅延を実現

数字で見る

この記事に出てくる数字

TTC誤差 9.59%
推論遅延 4.6ms

どこで使えるか

リアルタイム制御で微遅延を許さない人向け。イベント逐次処理で4.6ms。競合比較のみ arXivで公開済み INT8量子化で2.8mJ。32768イベントあたりの値

スポンサーリンク

解説

かみくだいて説明します

イベントカメラってマイクロ秒単位の超高速センシングができるんですよね?
確かにその通りです。ただ、生データのまま処理するのではなく、通常はフレームに蓄積してから解析するのが主流です。
蓄積するって、結局反応が遅くなっちゃうんじゃないですか?
その通りで、フレーム単位で切り取る分、どうしても統合遅延が発生し、素早いロボットの反応を制限してしまう壁になっています。
そこでarXivに公開されたREACTという手法が注目されています。生イベントを一つずつ逐次処理する、完全スパイキングな状態空間モデルです。
そのアプローチって、具体的にはどういう仕組みなんですか?
複素数値スパイキングニューロンC-SiLIFを採用しており、イベント間の物理的な時間間隔が直接、内部状態の進化を駆動します。まるで川の流れに一枚ずつ葉っぱを浮かべるように、蓄積なしで連続的に情報を更新していきます。
確かに!イベントの刻一刻の変化を追跡できそうですよね!
イベントカメラの非同期特性を活かし、個々のイベントを逐次処理することで、統合遅延を排除した完全なイベント駆動型モデルです。
実際の性能はどう改善されたんですか?
EvTTCデータセットで、エンドツーエンド推論遅延が4.6 msを達成しました。相対TTC誤差は9.59%で、最良の学習済み手法に0.15ポイント差です。
競合手法と比べた性能差はどれくらいありますか?
平均接近速度での車両移動距離はわずか4 cmで、最速の競合手法が1 m動く間に比べ、圧倒的な低遅延を実現しています。推論エネルギー消費もINT8量子化で18.5 mJから2.8 mJに削減可能です。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、フレームや時間ビンにイベントを蓄積する従来の手法では、微秒単位の応答が難しいのは事実です。REACTは生のイベントを一つずつ処理し、イベント間隔で内部状態を進めることで、4.6msという超低レイテンシを実現しています。
実際の試し方はどうすればいいんですか?
EvTTCでのTTC推定精度と推論遅延、さらにINT8量子化によるエネルギー消費削減を確認できます。ご自身のイベントカメラ環境でも同様の低遅延でリアルタイムな知覚が可能になります。
イベントカメラの特性を活かした低遅延な知覚が、自律走行など動的環境のロボットシステムに貢献します。
超高速知覚が現実のロボットに身近になる未来が来ますね!

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文