WorldRover ajoute des données vidéo synthétiques pour l’exploration de mondes
Le pipeline Unreal Engine génère des vidéos de longs parcours avec profondeur, trajectoires de caméra et signaux d’action.
Pourquoi c'est important
WorldRover vise à combler un manque de données pour les modèles qui ont besoin de plus que de la vidéo RGB afin de générer, reconstruire ou manipuler des mondes explorables. Ces annotations pourraient soutenir la recherche sur les modèles de monde, la génération vidéo, la reconstruction de scènes et l’IA incarnée.
Points clés
- 1.WorldRover rend dans Unreal Engine des parcours d’exploration synthétiques à l’échelle de la minute.
- 2.WorldRover-10M associe le RGB à la profondeur, aux trajectoires et aux signaux d’action.
- 3.Les scènes peuvent être rejouées selon différents points de vue et états environnementaux.
Des chercheurs ont présenté WorldRover, un moteur de données vidéo synthétiques conçu pour générer des explorations richement annotées d’environnements créés par des artistes. Son pipeline Unreal Engine effectue un rendu hors ligne de parcours à l’échelle de la minute tout en conservant les trajectoires et la géométrie des scènes, et peut rejouer la même exploration depuis des caméras à la première personne, à la troisième personne et panoramiques à 360 degrés, sous différents états environnementaux. L’équipe s’en est servie pour construire WorldRover-10M, qui associe la vidéo RGB à la profondeur métrique, aux trajectoires de caméra et à des signaux d’action dérivés des trajectoires.
⚡ À tester aujourd'hui
Examinez WorldRover-10M avant de créer des pipelines d’entraînement ou d’évaluation nécessitant des données appariées de vidéo, de profondeur, de mouvement de caméra et de signaux d’action.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Produits
Robin Williams’ Instagram account brought back to fight ‘AI abuse’
Robin Williams' children are taking over their father's Instagram account after his daughter spoke out against the use of his AI likeness, as reported earlier b
IBM teste la quantité de mémoire nécessaire aux agents d’IA
Une étude sur ALTK-Evolve montre que les gains liés à la mémoire des agents dépendent des capacités du modèle et de la stratégie de diffusion.
Warp lance Warp Factories pour le développement IA
Le système vise à simplifier la création de usines logicielles IA.