Des chercheurs s’attaquent aux reflets dans la diffusion vidéo
Deux articles traitent des reflets en vidéo, l’un pour les supprimer sur le verre, l’autre pour générer des miroirs.
Pourquoi c'est important
Les reflets restent un point faible des modèles vidéo et des systèmes de vision en aval, car ils exigent à la fois un réalisme physique et une cohérence temporelle ou spatiale. Ces travaux suggèrent que les modèles de diffusion sont adaptés à des phénomènes visuels plus ciblés, et pas seulement à la génération généraliste.
Points clés
- 1.S2R se concentre sur la synthèse, la suppression et l’évaluation des reflets sur le verre.
- 2.MirrorWorld vise des reflets de miroir cohérents dans l’inpainting vidéo.
- 3.Les deux adaptent les modèles de diffusion vidéo à des contraintes propres aux reflets.
Des chercheurs ont présenté deux approches de diffusion vidéo centrées sur les reflets. S2R propose un cadre en boucle fermée pour la synthèse de vidéos réfléchies fondée sur la physique, la suppression des reflets en vidéo par diffusion et l’évaluation comparative, avec notamment un modèle de suppression adapté à partir d’un prior de diffusion vidéo préentraîné. MirrorWorld propose un cadre d’inpainting vidéo sensible aux reflets pour générer des reflets de miroir, en utilisant la distillation de relations sémantiques et l’alignement par transformation géométrique afin d’améliorer la cohérence entre la scène et le miroir.
⚡ À tester aujourd'hui
Consultez ces articles avant de créer des pipelines vidéo qui doivent soit supprimer les reflets sur le verre, soit générer des scènes de miroir cohérentes.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Une étude montre que le contexte d’audit-réparation rend les vérificateurs LLM plus indulgents
L’article publié sur arXiv fait état de moins de fausses alertes après des épisodes antérieurs d’audit-réparation dans le contexte du modèle.
AlphaEvolve contribue à abaisser la borne de la multiplication matricielle
Une nouvelle note publiée sur arXiv fait état d’une borne supérieure améliorée pour l’exposant de la multiplication matricielle.
InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.