Pesquisadores miram lacunas no raciocínio espacial dos VLMs

Pesquisadores apresentaram o Chain-of-Visual-Thought, um framework que treina modelos de visão e linguagem a raciocinar com tokens visuais contínuos e compactos, capazes de codificar pistas como aparência 2D, geometria 3D, disposição espacial e bordas. A abordagem usa cerca de 20 tokens, destila sinais de especialistas visuais leves e pode, opcionalmente, decodificar previsões densas como profundidade, segmentação, bordas e recursos DINO para fins de interpretabilidade. Um benchmark separado, o GST-Bench, avalia inteligência espacial global em vídeo usando perguntas verificadas por humanos a partir de 6.790 minutos de vídeo gerado sinteticamente, relatando que o VLM zero-shot mais forte marcou 42,68, contra 79,08 dos humanos.