AnyTalk、アニメーションデータなしで発話アニメーションを生成
動画拡散モデルを応用し、リップシンクした3Dキャラクターの発話アニメーションを作成する手法。
なぜ重要か
この研究は、キャラクターの発話アニメーションにおいて、より少ないデータで済む道筋を示している。キャラクター固有の訓練セット、リギング、再メッシュ化への依存を減らせる可能性がある。実運用環境で有効性が確認されれば、拡散モデルに基づくモーション事前分布により、リップシンクした3Dアバターを多様なメッシュやブレンドシェイプシステムに展開しやすくなる可能性がある。
要点
- 1.任意のキャラクター向けに、リップシンクした3D発話アニメーションを生成する。
- 2.アニメーションデータなしで、キャラクターごとのファインチューニングを行う。
- 3.蒸留版のAnyTalk_RTはリアルタイム性能を目指している。
研究者らは、任意のキャラクター向けに3D発話アニメーションを生成する手法「AnyTalk」を発表した。アニメーションデータを必要としないのが特徴だ。この手法では、対象となる3Dキャラクターのレンダリング画像と、ゼロ化した音声埋め込みを組み合わせて、事前学習済みの動画拡散モデルをファインチューニングする。その後、生成されたトーキングヘッド動画を3D発話アニメーションに変換するため、ブレンドシェイプのパラメータを推定する。著者らは、リアルタイム性能を目指した蒸留版「AnyTalk_RT」についても説明している。
⚡ 今日から使える
アニメーションデータや重いリギングを必要とするキャラクター固有のリップシンクパイプラインを構築する前に、この論文を読んでおきたい。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。