空間言語で動作と状態を統一するTransformer、ロボットの操作と予測を1つに

論文

空間言語で動作と状態を統一するTransformer、ロボットの操作と予測を1つに

スポンサーリンク

Spatial Language Modelingが、ロボットの動作生成と状態予測を1つのTransformerで統一した。

この記事のポイント

  • アクションがシーン幾何をどう変えるか不明
  • 空間言語モデルでアクション生成と状態予測を統一
  • シミュは競争力、実機は成功率・目標被覆率で上位

どこで使えるか

ロボットの動作生成と状態予測を1つのモデルで扱いたい人向け。 コードの公開は記載なし シミュレーションと実機で評価済み

スポンサーリンク

解説

かみくだいて説明します

Minye Wuらの研究チームが、2026年10月9日にarXivへ公開しました。一つのTransformerが、ロボットの行動生成と、その行動が与えられた先の状態予測を、同じ次のトークンを当てる目的で学習します。
行動と状態を一つにまとめるんですか。作る側から見ると、従来のやり方と比べて何が楽になるんですか。
従来は行動を予測するモデルと、状態を変化させるモデルを別々に訓練する必要がありました。今回のモデルは、場面のアウトラインや目標、行動の目標地点、その先の状態を、離散座標と意味を持つトークンの共通語彙で表します。タスクごとの文法でこれらを空間シーケンスに並べるだけで、一つのモデルが両方の役割をこなします。
共通語彙で表すというのは、座標値をトークンに置き換えて文のように並べる感じですね。
そうです。離散座標を意味を持つトークンに置き換えて、文のように次を当てる形で処理します。訓練はまずランダムに動かすデータで事前学習し、その後に専門家の実演データで行動と状態の両方を一緒に学習します。実演データの訓練中は、記録された行動の座標がその先の状態予測を条件として使い、予測損失からは除外されます。
実演データで訓練するんですか。推論のときは行動だけ出して、観測した状態を履歴に追加するんですね。
制御時には実行可能な行動の目標地点だけを出力し、観測した新しい状態を履歴に追加します。評価はシミュレーションのPush-Tと実機ロボットで行い、シミュレーションでは競争力のある性能を出しました。実機では既存のポリシーベースラインを比べて、タスク成功率と目標到達範囲で上回りました。
実機の成功率向上について、具体的な数値の差は論文に示されていません。
そこはまだ分かっていません。ただ、訓練の比較実験では、行動と状態のシーケンスを一緒に使うことで制御が改善し、ランダムプレイの事前学習を加えるとさらに向上することが示されています。行動の軌跡が与えられれば、同じモデルで連続する場面の変化を予測でき、押す動作の幾何学的な影響を捉えています。
幾何学的な影響を捉えるというのは、押した後のブロックの角度や位置ズレまで予測するんですか。
正確にはその通りです。押すという行動が、場面の形状にどう影響するかを、次のトークンの予測として扱います。研究している人から見ると、行動と状態を別々のモデルで回す手間が省け、一つのパイプラインで制御とシミュレーションの両方が完結する点が新しいです。
では、実機への搭載はもう進んでいるんですか。当面はシミュレーションと実機での検証が中心のようですね。
当面はシミュレーションと実機での検証が中心で、シミュレーションでは競争力のある性能、実機ではベースラインを上回る成功率と目標領域のカバレッジを達成しています。
最後に、一般の技術者がこのモデルを試すには、コードが公開される見込みはありますか。
シミュレーションと実ロボットで評価し、比較対象の実ロボット手法より成功率と目標網羅で上回った。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文