ロボットに視覚と言語を教える REKI、2.4B の VLA で性能とサイズの両立

論文

ロボットに視覚と言語を教える REKI、2.4B の VLA で性能とサイズの両立

スポンサーリンク

REKIが公開。2.4B の VLA で性能とサイズの両立を実現し、コードとモデル重みを公開。

この記事のポイント

  • VLAは性能とサイズの間でトレードオフがあった
  • 公開データで2.4Bモデルを学習しメモリを追加
  • 同サイズより優れ振動も減ったが約2倍サイズに劣る

数字で見る

この記事に出てくる数字

モデルサイズ 2.4B
サイズ比 約2倍
振動減少率 約4倍

どこで使えるか

小さいVLAで高精度なポリシーが欲しい人向け。公開データだけで学習し、メモリ機構で安定性も向上。 GitHubでコード・重み公開済み 推論効率最適化済み。実ロボット動作確認あり

スポンサーリンク

解説

かみくだいて説明します

Juliette Marrieらの研究チームが、ロボットに視覚と言語の理解を備えた 2.4B のモデル REKI を公開しました。LIBERO-Plus、RoboTwin Clean2Rand、RoboCasa365 の 3 つの環境で、およそ 2 倍の大きさのモデルにだけ負ける性能を出し、同じ大きさのモデルの中では最も効率が良いラインを打ち立てています。
倍の大きさのモデルにしか負けないというのは、かなりコンパクトに収まっているんですね。この 2.4B という数字は、作っている側から見て、今までの標準的なモデルと比べてどれくらいの位置づけなんですか?
REKIは2.4Bという小さい規模ながら、LIBERO-PlusやRoboTwin、RoboCasa365ではおよそ2倍の規模のモデルにしか負けないんです。
確かに、重さが軽ければ現場での導入ハードルは下がりますね。ただ、フローマッチングやレジスタートークンという言葉が出てきましたが、そこがまだ掴めません。もう少しやさしく言うとどうなりますか。
分かりやすく言うと、フローマッチングは直前の動きと次の動きを滑らかに繋ぐ調整役です。レジスタートークンは作業中のメモ帳のようなもので、毎フレームの視覚情報を要約して次の動作に引き継ぎます。これにより、ロボットが同じ場所を往復するような振動がおよそ 4 倍に 1 回になるほど減りました。
直前の情報をメモ帳に書いて引き継ぐことで、ぶるぶると震える動きが抑えられたわけですね。そのメモ帳の仕組みは、別のモデルに持ち替えるときもそのまま使えますか。
シンプルな構成で、学習も推論も効率よく動くように作られています。コードと学習済み weights はすべて GitHub で公開されています。
公開されているコードで再調整ができるなら、研究チーム以外でも試行錯誤しやすそうです。では、実機での成功率は具体的にどれくらい上がっているんですか。
成功率の具体的な数値については、そこはまだ分かっていません。シミュレーションと実機ともに成功率が向上し、振動がおよそ 4 倍に 1 回になるほど減ったことは確認されていますが、それ以上の詳細な数字は発表資料に明記されていません。
成功率の数字は発表資料に明記されていないんですね。では、このモデルが実用化されるには、あとどのくらいの期間が必要だと見られていますか。
実用化の時期については、現時点では具体的な見通しが示されていません。開発側は効率を重視した設計で公開を進めていますが、時期については別途発表があるまで分かりません。
最後に、この REKI が次の研究にどう影響すると考えられますか。
要旨には、リソースが限られているチームでも開発しやすくなるという主張や、今後の課題としてメモリ機構の効率化や複雑な作業タスクへの対応についての言及はありません。
あわせて、先月に出た別の研究も、ビジョン言語モデルにメモリ機構を組み込むという同じやり方を使っています。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文