画像生成 AI の物理法則に沿った制御 PhysStream、動画の動きを細かく操作する話

論文

画像生成 AI の物理法則に沿った制御 PhysStream、動画の動きを細かく操作する話

スポンサーリンク

PhysStreamが、動画生成中に物理法則に沿った動きの制御を可能にした。

この記事のポイント

  • 既存手法は生成開始前の制御か
  • この手法は構造化メモリで制御
  • 合成ベンチでFVMDが33%改善

数字で見る

この記事に出てくる数字

FVMD削減率 33%
人間評価優位 85%

どこで使えるか

生成中に物理量ベースの制御をしたい人向け。構造化メモリで物理一貫性を向上。 論文サイトから入手可能 コード公開の記載なし。モデルの入手経路は不明

動画を見る

スポンサーリンク

解説

かみくだいて説明します

Chuhao Chenらの研究チームが、2026年9月16日にarXivへPhysStreamという動画生成モデルを発表しました。テーブルの上の複数の物体を物理法則に沿って動かす動画を作成でき、生成の途中で操作を途中から加えられる仕組みです。
生成の途中で操作を途中から加えられるというのは、これまで使われていた方法と何が違うんですか。
従来の方法では、動かしたい軌道や速度を最初から全部指定しなければいけませんでした。PhysStreamは、すでに生成されたフレームから物体の位置や追跡情報をリアルタイムで取り込みながら、速度の変化量だけを小さな信号として送るだけで、途中から軌道を変えられます。
速度の変化量だけを信号として送るというのは、つまり力加減だけで動かせるということですね。
想像していただきたいのですが、テーブルの上のコップを指で押すイメージです。コップの現在地をいちいち座標で指定するのではなく、指が加える押す力の強さと方向だけを伝えます。モデルはその力の情報を元に、摩擦や重さといった物理的な動きを計算して、次のフレームを描画します。
押す力の強さと方向だけを伝えるんですね。では、作る側からすると、このモデルを自分のプログラムに組み込むのは難しいんですか。
組み込み自体は、既存の動画生成パイプラインに条件付けとして追加する形です。学習は二段階で行われ、まず双方向モデルで動作制御の条件付けを微調整し、次に因果的な自己回帰モデルで構造化されたシーンメモリを追加学習させます。これにより、物体同士の衝突や転倒といった物理的な整合性が向上します。
二段階で学習させて物理的な整合性を高めるんですね。評価結果はどうなっていますか。
合成ベンチマークでは、従来最強の手法を超えて、運動分布距離を33%、軌道誤差を12%それぞれ削減しました。また、実際の動画での人間評価では、85%以上のケースで本手法が選ばれる結果でした。
85%以上のケースで選ばれるというのは、かなり信頼できる数字ですね。では、研究している人から見ると、どこがまだ解けていないんですか。
現時点ではテーブル上の剛体物体に限定されていますが、人物や自然風景への拡張については、まだ研究課題として言及されていません。信号の設計方法も、用途に応じて手動で調整する必要がある段階です。
最後に、この技術が実用化される見通しはどのくらい先ですか。
実用化に向けた具体的な見通しについては、要旨に直接的な記述はありません。ただし、合成ベンチマークでの評価結果や人間の評価者による比較結果から、物理的に一貫性のある動画生成の可能性が示されています。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文