Forschende nehmen Lücken im räumlichen Denken von VLMs ins Visier

Forschende haben Chain-of-Visual-Thought vorgestellt, ein Framework, das Vision-Language-Modelle darauf trainiert, mit kompakten, kontinuierlichen visuellen Tokens zu schlussfolgern. Diese Tokens codieren Hinweise wie 2D-Erscheinungsbild, 3D-Geometrie, räumliche Anordnung und Kanten. Der Ansatz nutzt rund 20 Tokens, destilliert Signale aus leichtgewichtigen Vision-Experten und kann zur besseren Interpretierbarkeit optional dichte Vorhersagen wie Tiefe, Segmentierung, Kanten und DINO-Features dekodieren. Ein separater Benchmark namens GST-Bench bewertet globale räumliche Intelligenz in Videos anhand von menschlich verifizierten Fragen aus 6.790 Minuten synthetisch erzeugtem Videomaterial. Demnach erzielte das stärkste Zero-Shot-VLM 42,68 Punkte, verglichen mit 79,08 bei Menschen.