EMODY Flowが感情を反映する全身モーションを生成。BEAT2 で 26% 向上。
この記事のポイント
- 感情ラベルを無視する問題があった
- 感情判別器で感度を取り戻した
- FGD 0.302、Beat 0.853、多様性 24.62
数字で見る
この記事に出てくる数字
| パラメータ数 | 35M |
|---|---|
| FGD改善 | 26% |
| Diversity改善 | 62% |
どこで使えるか
感情を全身に反映させたい人向け。補助分類器で感情識別を強制する arXivで公開済み
スポンサーリンク
解説
かみくだいて説明します
Harsh Kumar Agarwal たちの研究チームが arXiv に EMODY Flow を発表しました。音声と感情のラベルから、全身のジェスチャーと表情を同時に生成するフレームワークです。
音声だけで全身の動きと表情が作れるんですね。およそ 35M なら手元で動きますか。
軽量に設計されていて、凍結した Qwen-3 Omni の中にある Mimi という音声コーデックを再利用し、SMPL-X という体の姿勢モデルと FLAME という顔のモデルの 2 つの DiT 生成器に条件を渡します。
Mimi から 2 つの DiT 生成器に条件を渡すとのことですが、DiT 生成器は少し掴めません。
正確には、音声の特徴を 2 本のレーンに分けて伝える役割です。片方のレーンで体の姿勢を、もう片方で顔の表情を同時に描くイメージで、同じ音源から別々の動きを並行して生成します。
では、既存のモデルが感情を無視して似た動きしか作らない欠陥を、どう解決したんですか。
訓練中に補助的な感情分類器を噛ませたことです。生成された動きが感情ごとに識別可能になるよう強制する仕組みで、これによって感情の条件を正しく反映させられるようになりました。
なるほど。定量評価では、具体的にどこが良くなったんですか。
BEAT2 のベンチマークで FGD 0.302、Beat Correlation 0.853、Diversity 24.62 を記録し、これまでの最良結果からそれぞれ 26%、5%、62% 改善しています。
特別な調整なしに、別のデータセットでも使えるんですか。
TFHP でのゼロショット顔アニメーションにそのまま移譲できています。感情ごとの動きが明確に分離されることを、多変量尺度分析で示しています。
最後に、実際の会話エージェントに組み込む場合、まだ何が解けていないんですか。
BEAT2のジェスチャ品質で新SOTAを達成し、TFHPでのゼロショット顔アニメーションにも転移しています。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。