HelloWorld ajoute des interactions sociales aux modèles de mondes vidéo
Ce modèle de recherche permet aux personnages à l’écran de répondre à des invites utilisateur, par exemple en saluant de la main ou oralement.
Pourquoi c'est important
Ces travaux ciblent une lacune des modèles de mondes vidéo : des personnages capables de répondre socialement aux utilisateurs, plutôt que de seulement suivre des mouvements ou des scènes prédéfinis par invite. Ils introduisent également HelloWorldBench, un benchmark destiné à mesurer les comportements d’interaction sociale dans ces systèmes.
Points clés
- 1.HelloWorld permet de déclencher par bouton des réponses de personnages dans des mondes vidéo.
- 2.L’auto-distillation entraîne le modèle sur des clips synthétisés comprenant des interactions et des mouvements de caméra.
- 3.Un module sans entraînement localise les réponses dans la fenêtre de pression du bouton.
Des chercheurs ont présenté HelloWorld, un modèle de monde vidéo conçu pour prendre en charge l’interaction sociale entre les utilisateurs et les personnages au sein de mondes vidéo générés. D’une simple pression sur un bouton, les utilisateurs peuvent inviter un personnage à réagir face à la caméra, notamment en se retournant, en saluant de la main, en hochant la tête ou en prononçant une brève salutation. Le système utilise l’auto-distillation sur des clips synthétisés et un module d’inférence sans entraînement qui localise l’interaction dans la fenêtre de pression grâce à des masques d’attention croisée.
⚡ À tester aujourd'hui
Lisez l’article et le benchmark avant de concevoir des contrôles de personnages interactifs pour des modèles de mondes vidéo.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
DistilVDR compresse la recherche visuelle de documents
Ce moteur de recherche à 524 millions de paramètres utilise une distillation bilatérale à partir d’un modèle enseignant vision-langage de 8 milliards de paramètres.
Des chercheurs proposent Power Law Graph Attention
PLGA généralise l’attention par produit scalaire mis à l’échelle et rapporte un effondrement de l’inférence sous invariance exacte.
Google teste AMIE pour des consultations médicales vidéo en temps réel
Ce système de recherche fondé sur Gemini a été évalué dans des consultations de télésanté simulées.