顔の表情を別のメッシュに転写する PDB、制御点と重みで再構築する手法

論文

顔の表情を別のメッシュに転写する PDB、制御点と重みで再構築する手法

スポンサーリンク

PDBが、制御点と重みで表情を再構築。表面の歪みが減る。

この記事のポイント

  • 表面の歪みなしに表情を移すのが難しかった
  • 制御点と重みでメッシュを再構築する手法を作った
  • 自己再ターゲットの教師信号のみで学習する

数字で見る

この記事に出てくる数字

推論速度 fast

どこで使えるか

自己再ターゲット再構築の教師信号だけで学習し制御点と重みでメッシュを作りたい人向け arXivで公開済み 実装は記載なし

スポンサーリンク

解説

かみくだいて説明します

Sihun Chaらの研究チームが、arXivにPDBという新しい顔の表情転写手法を発表しました。異なる形状の3Dメッシュ間でも、表面の歪みを出さずに表情を移し替えることができます。
異なるメッシュ間での表情移し替えですね。従来の手法と比べて、どこが新しいんですか。
従来の手法は密な変位データを使うため、メッシュの構造が異なる場合に表面にアーティファクトが出ていました。PDBは制御点と重みを掛け合わせるだけでメッシュを再構築するため、その歪みを大幅に減らしています。
制御点と重みの掛け合わせで形を作るんですね。なるほど。
重みは対象のメッシュごとに一度計算して、フレームごとに使い回します。制御点は表情ごとに変わる構造になっています。ReLUで重みを非負に制限し、行ごとの正規化をかけることで、計算負荷を抑えています。
重みは一度作って使い回し、制御点だけ表情に合わせて変わる。ReLUと正規化は、具体的にどう役立っているんですか。
ReLUは重みをゼロ以下にしないようにして、正確なゼロを許容します。正規化は重みの合計を一定に保ち、メッシュが伸縮しすぎるのを防ぎます。要するに、必要な部分だけしっかり効かせて、余計な引っ張りを出さない仕組みです。
必要な部分だけ効かせて、余計な引っ張りを消す。確かに。学習にはペアになったデータが要らないんですか。
自己転写の再構築損失だけで学習し、異なる人物間のペアデータは使いません。これにより、クロスアイデンティティの転写でも、ペア訓練なしで対応できます。
ペアデータなしで異なる人物間の転写ができる。では、現場で動かすのに何が要りますか。
対象のメッシュと、転写元の表情データがあれば十分です。事前のケージ計算や座標の事前計算、要素ごとの学習済みデコーダー、グローバルな再構築ソルバーは不要です。推論速度も速く、実時間での利用にも耐えられます。
事前計算も学習済みデコーダーも不要で、即座に使える。最後に、まだ解けていない点はどこですか。
実験では表面の歪みと表情の忠実さが両立していることを示していますが、極端に異なるトポロジーを持つメッシュ間での長期アニメーションにおける安定性については、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文