Neue Studien untersuchen Grenzen des räumlichen Denkens von VLMs

Mehrere aktuelle Forschungsberichte befassen sich mit anhaltenden Schwächen von Vision-Language Models bei dichter visueller Wahrnehmung und räumlichem Denken. Eine Studie schlägt Chain-of-Visual-Thought vor, ein Verfahren, das VLMs darauf trainiert, mit kompakten, kontinuierlichen visuellen Tokens zu schlussfolgern, die aus Vision-Expertensystemen für Hinweise wie Tiefe, Segmentierung, Kanten und räumliche Anordnung destilliert werden. Weitere Arbeiten führen GST-Bench für globales räumliches Bewusstsein in Videos ein, SpatialCLI für das Lernen aus spezialisierten Spatial-Tools sowie Belege dafür, dass VLMs eher auf semantische Labels als auf fein abgestufte visuelle Vergleiche zurückgreifen.