コーディングエージェントでロボット操作の訓練データを生成する EmbodiedSWE

論文

コーディングエージェントでロボット操作の訓練データを生成する EmbodiedSWE

スポンサーリンク

EmbodiedSWEが、コーディングエージェントの解をロボット訓練用の多様な軌跡に自動変換する手法を公開した。

この記事のポイント

  • コーディングエージェントの解は個別特化
  • EmbodiedSWE-GENでVLAの訓練データ生成
  • 実ロボットで長時間タスクを完了

数字で見る

この記事に出てくる数字

コード公開先 GitHub

どこで使えるか

VLAの訓練データ生成を自動化したい人向け。実ロボットでの長時間タスク対応が可能 GitHubで公開済み シミュレーション環境でのみ動作

動画を見る

スポンサーリンク

解説

かみくだいて説明します

コーディングエージェントがロボットの手先を動かす研究が増えますが、結局シミュレーションだけですよね?
確かにその通りです。反復的な対話が必要で、個々のタスクに特化しています。
既存のアプローチだと、一つ一つの手順を人間がプログラムするしかないんですか?
コーディングエージェントは、接触が多い作業や変形する物体を扱う場合でも、スケーラブルな解決策を提供できます。
コーディングエージェントが複雑なロボティクスタスクを解決し、その検証済みソリューションをスケーラブルな教師信号に変換するフレームワークです。
そのアプローチって、具体的にはどういう仕組みなんですか?
エージェントが制御コードを自動生成し、シミュレーション上で実行とデバッグを繰り返す仕組みです。まるでレシピを自分で考案するシェフのようなイメージです。
自動で試行錯誤しながらコードを書き換えるんですね!
エージェントが複雑なタスクを解決し、その解を多様なトレーニングデータに変換してスケーラブルな教師信号を提供します。
生成されたデータでVLAの性能はどれくらい上がり、実機でも使えるんですか?
最大30分の連続操作が可能な長尺タスクを解決しており、従来の手動コーディングと比べ生成データ量に比例してVLAの精度が向上します。エージェントが軌道を多様化させることで未見バリエーションへの汎化も明確に高まり、生成シミュレーションデータだけで実機長尺タスクを完遂するVLA学習に成功しています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
確かに、コードエージェントが生成した解は反復的な対話が必要で、個々のタスクインスタンスに特化しやすいという課題があります。
実際の試し方はどうすればいいんですか?
コードはGitHubで公開しています。シミュレーション上の生成軌道からVLAをファインチューニングし、実ロボットでの長期タスク完了を確認できます。
シミュレーション上の生成軌道からVLAをファインチューニングし、実ロボットでの長期タスク完了を確認できます。
実ロボットで長期タスクを完了できましたね!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文