Des chercheurs proposent un modèle de diffusion pour supprimer les reflets dans les vidéos
S2R associe une simulation physique des reflets à un modèle de suppression vidéo par diffusion et à un benchmark.
Pourquoi c'est important
La suppression des reflets dans les vidéos reste moins avancée que dans les images fixes, car les données appariées, les méthodes de cohérence temporelle et les benchmarks sont limités. Ces travaux pourraient contribuer à améliorer les systèmes de vision qui traitent des images filmées à travers du verre.
Points clés
- 1.S2R-Synthesis crée des paires de vidéos avec et sans reflets.
- 2.S2R-Removal utilise un a priori de diffusion vidéo préentraîné.
- 3.Le cadre comprend une évaluation benchmark pour la suppression des reflets dans les vidéos.
Un nouvel article publié sur arXiv présente S2R, un cadre en boucle fermée pour supprimer les reflets dans les vidéos. Le système comprend S2R-Synthesis, qui génère des paires de vidéos avec et sans reflets grâce à une augmentation fondée sur la physique et à un moteur de rendu vidéo par diffusion entraîné, ainsi que S2R-Removal, décrit comme le premier modèle fondé sur la diffusion pour la suppression des reflets dans les vidéos.
⚡ À tester aujourd'hui
Lisez l’article avant de concevoir des pipelines de nettoyage vidéo ou de perception devant gérer les reflets sur le verre.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.
Les outils et pratiques de développement IA suscitent le débat sur Hacker News
Des publications sur MathCode, les habitudes de codage avec l’IA, Cloudflare et HEIR de Google ont alimenté les discussions.
Google fait progresser l’IA privée grâce au chiffrement homomorphe
Google affirme rendre l’IA privée plus concrètement utilisable grâce au chiffrement homomorphe.