AnyTalk génère une animation de parole sans données d’animation
La méthode adapte des modèles de diffusion vidéo pour créer des animations de parole 3D synchronisées sur les lèvres.
Pourquoi c'est important
Ces travaux ouvrent une voie moins gourmande en données pour l’animation de parole de personnages, en réduisant la dépendance aux jeux d’entraînement propres à chaque personnage, au rigging ou au remaillage. S’ils sont validés en production, les a priori de mouvement fondés sur la diffusion pourraient faciliter le déploiement d’avatars 3D synchronisés sur les lèvres sur des maillages et systèmes de blendshapes variés.
Points clés
- 1.Génère une animation de parole 3D synchronisée sur les lèvres pour des personnages arbitraires.
- 2.Utilise un fine-tuning du personnage sans données d’animation.
- 3.La version distillée AnyTalk_RT vise des performances en temps réel.
Des chercheurs ont présenté AnyTalk, une méthode permettant de générer des animations de parole 3D pour des personnages arbitraires sans nécessiter de données d’animation. L’approche affine un modèle de diffusion vidéo préentraîné à partir d’images rendues d’un personnage 3D cible, associées à des embeddings audio mis à zéro, puis estime des paramètres de blendshape afin de convertir la vidéo de tête parlante générée en animation de parole 3D. Les auteurs décrivent également AnyTalk_RT, une version distillée conçue pour des performances en temps réel.
⚡ À tester aujourd'hui
Lisez l’article avant de construire des pipelines de lip-sync propres à chaque personnage qui exigent des données d’animation ou un rigging lourd.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
HarnessRisk évalue les défaillances de sécurité dans les harnais d’agents
Le benchmark teste des attaques à différentes phases des harnais d’agents, tandis que des travaux connexes étudient le provisionnement propre à chaque tâche.
Agent Lightning v1.0 cible le RL agentique avec harnais
Le framework relie des harnais d’agents arbitraires au post-entraînement par apprentissage par renforcement.
IBM teste la quantité de mémoire nécessaire aux agents d’IA
Une étude sur ALTK-Evolve montre que les gains liés à la mémoire des agents dépendent des capacités du modèle et de la stratégie de diffusion.