GROVE ajoute une mémoire en couches pour les assistants vidéo en streaming

Des chercheurs ont présenté GROVE, un framework sans entraînement pour l’expérience vidéo en streaming, qui construit une mémoire de façon causale à partir d’un flux vidéo continu. Le système conserve des éléments perceptifs fins et les consolide en moments horodatés, en épisodes cohérents et en motifs récurrents d’un jour à l’autre, avec des capacités de récupération adaptées à chaque niveau. Les auteurs indiquent que GROVE a obtenu les meilleurs résultats parmi les méthodes comparées sur plusieurs benchmarks, dont MM-lifelong et EgoServe. Un article arXiv connexe, ObjectStream, vise lui aussi la compréhension de vidéos en streaming avec une mémoire sans entraînement, en utilisant des objets latents comme points d’ancrage persistants.