Des chercheurs ciblent les lacunes du raisonnement spatial des VLM

Des chercheurs ont présenté Chain-of-Visual-Thought, un cadre qui entraîne les modèles vision-langage à raisonner à partir de tokens visuels continus et compacts encodant des indices comme l’apparence 2D, la géométrie 3D, l’agencement spatial et les contours. L’approche utilise environ 20 tokens, distille les signaux d’experts vision légers et peut, en option, décoder des prédictions denses telles que la profondeur, la segmentation, les contours et les caractéristiques DINO afin d’améliorer l’interprétabilité. Un benchmark distinct, GST-Bench, évalue l’intelligence spatiale globale dans la vidéo à partir de questions vérifiées par des humains issues de 6 790 minutes de vidéo générée synthétiquement, et indique que le meilleur VLM en zéro-shot obtient 42,68, contre 79,08 pour les humains.