Des chercheurs ciblent la compression de tokens pour les VLM 3D

Deux nouveaux articles proposent des méthodes de compression de tokens pour les charges de travail vision-langage en 3D, où les scans ou les scènes peuvent générer des milliers, voire des dizaines de milliers, de tokens visuels. ORCA compresse les tokens de CT 3D à l’aide d’un guidage par organe et d’un encodage par centroïdes, et se présente comme une solution sans entraînement et prête à l’emploi. 3DZip compresse les tokens de scènes 3D via la voxelisation, la sélection d’ancres aux caractéristiques diversifiées et une fusion spatialement contrainte, avec des expériences faisant état de meilleurs résultats que les méthodes de compression existantes sur trois benchmarks de questions-réponses 3D.