WorldCycle entraîne des modèles vidéo du monde avec un RL auto-vérifiant

Des chercheurs ont présenté WorldCycle, un framework d’apprentissage par renforcement pour les modèles vidéo interactifs du monde, conçu pour réduire l’accumulation d’erreurs dans les prédictions à long horizon. La méthode construit des cycles d’actions fermés à partir de séquences d’actions ordinaires et exploite le fait qu’une séquence suivie de son inverse devrait ramener le système à son état initial, comme signal de supervision sans annotation. Elle optimise des récompenses de clôture spatiale et de cohérence temporelle afin que les actions se comportent comme des opérateurs d’état cohérents, y compris sur des cycles d’actions composites hors distribution.