Investigadores apuntan a la compresión de tokens para VLM 3D

Dos nuevos artículos proponen métodos de compresión de tokens para cargas de trabajo de visión-lenguaje en 3D, donde los escaneos o las escenas pueden generar desde miles hasta decenas de miles de tokens visuales. ORCA comprime tokens de CT 3D usando guía de órganos y codificación de centroides, y se presenta como una solución sin entrenamiento y plug-and-play. 3DZip comprime tokens de escenas 3D mediante voxelización, selección de anclas con diversidad de características y fusión con restricciones espaciales, con experimentos que reportan mejores resultados que los métodos de compresión existentes en tres benchmarks de preguntas y respuestas 3D.