HelloWorld incorpora interacciones sociales a los modelos de mundos en video
El modelo de investigación permite que los personajes en pantalla respondan a instrucciones del usuario, como saludar con la mano o decir hola.
Por qué importa
El trabajo aborda una carencia en los modelos de mundos en video: personajes capaces de responder socialmente a los usuarios, en lugar de limitarse a seguir movimientos o indicaciones de escena predefinidos. También presenta HelloWorldBench, un benchmark para medir el comportamiento de interacción social en estos sistemas.
Puntos clave
- 1.HelloWorld permite respuestas de personajes activadas por botón en mundos de video.
- 2.La autodestilación entrena sobre clips sintetizados con interacciones y movimiento de cámara.
- 3.Un módulo sin entrenamiento localiza las respuestas en la ventana de pulsación del botón.
Investigadores presentaron HelloWorld, un modelo de mundos en video diseñado para facilitar la interacción social entre usuarios y personajes dentro de mundos de video generados. Con solo pulsar un botón, los usuarios pueden pedir a un personaje que responda hacia la cámara, por ejemplo girándose, saludando con la mano, asintiendo o diciendo un breve saludo. El sistema utiliza autodestilación sobre clips sintetizados y un módulo de inferencia sin entrenamiento que localiza la interacción en la ventana de pulsación mediante máscaras de atención cruzada.
⚡ Pruébalo hoy
Lee el paper y el benchmark antes de diseñar controles de personajes interactivos para modelos de mundos en video.
Fuentes y cobertura original
Este resumen sintetiza y enlaza la cobertura de los medios siguientes.
¿Te gustó este resumen? Recibe el próximo en tu correo.
Más en Investigación
El equipo de MiLMMT lanza modelos de traducción sin referencias
MiLMMT-46-v1.0 usa GRPO e interpolación de checkpoints para mejorar la traducción multilingüe abierta.
Nuevos papers apuntan al razonamiento de VLM en documentos largos
InSight-doc, DocAtlas y DocMemo proponen enfoques agénticos para encontrar evidencia en documentos complejos.
Google prueba AMIE para consultas médicas por video en tiempo real
El sistema de investigación basado en Gemini fue evaluado en consultas simuladas de telesalud.