DAOとJINGが、過去の操作を保持するインタラクティブな世界を生成するフレームワークを公開した
この記事のポイント
- 世界状態と視覚聴覚生成を結合
- DAOとJINGを組み合わせ
- 行動で変化する世界を構築
どこで使えるか
インタラクティブな世界を構築したい人向け。過去の影響を残す世界を構築可能 arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
XGEN Team が発表した研究で、DAO という世界状態を管理するエンジンと JING という視覚・聴覚を生成するモデルを組み合わせたフレームワークを発表しました。
世界の状態を管理するエンジンと、視覚・聴覚を生成するモデルを合わせたんですね。開発する側からすると、この DAO と JING を実際に組み込む場合、どちらを先に整備する必要がありますか?
正確には、DAO が世界の状態を計算する基盤になり、JING はその状態を参照して体験を生成する構造です。現場で使う技術者に置き換えると、DAO は地図やルールブックを管理するサーバーで、JING はそのサーバーの情報を元にユーザーごとの画面を描く描画エンジンです。両方を同時に動かすには、まず DAO の状態管理の精度を確保してから、JING へのデータ連携を繋ぐ形になります。
サーバーと描画エンジンの関係ですね。では、研究している人から見ると、これまでにない新しい点はどこにありますか?
従来は一度生成した体験は切り捨てられがちでしたが、このフレームワークでは世界の状態そのものが蓄積される点が異なります。登場人物の位置や物体の状態、空間の変化がすべて DAO 側に記録され、新しい人が参加しても以前の操作の跡を踏襲できます。公開された条件で測られていますが、具体的なベンチマークの数値や比較対象の件数については、そこはまだ分かっていません。
参加する人ごとに以前の操作の跡を継げる仕組みなんですね。では、使う側として気になるのは、テキスト指示で物体を動かす場合、指示の精度が低すぎると世界の状態が壊れたりしませんか?
そこはまだ分かっていません。現在の公開情報では、テキスト指示と視点操作が共有状態と体験の両方に影響を及ぼすことは確認できていますが、具体的な閾値や失敗時の挙動については別途検証が必要です。
失敗時の挙動もまだ不明な部分があるんですね。では、このフレームワークが実用に近づくには、DAO の状態更新速度か、JING の生成速度のどちらが先に課題になりますか?
DAOが世界の状態を保ち続け、JINGがその状態から一人称の映像と音声を生成して、人と知能体が持続的に関わり合えるようにします。
最後に、実用化に向けてまだ解決していない課題はどれですか?
具体的な導入時期や他の枠組みとの数値比較は要旨に出ていないけど、持続する世界状態と一人称視点の映像生成を組み合わせた枠組みっていうことだけは要旨からわかるね。
あわせて、先月にはインタラクティブな体験の生成における永続的なワールド状態の管理に取り組む別の研究も出ています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。