Investigadores apuntan a reducir el coste de tokens en LLM de vídeo y omnimodales

Un conjunto de nuevos trabajos de investigación propone formas de reducir el coste de inferencia de los grandes modelos de lenguaje de vídeo y multimodales mediante la poda, fusión u otras formas de compresión de tokens visuales y audiovisuales redundantes. Los métodos incluyen GSTEP para la poda global de tokens de vídeo espaciotemporales, CRAFT para la fusión adaptativa recursiva, ONCE para un codebook global offline, Macer para la compresión omnimodal con presupuesto por modalidad, ET-Prune para la poda visual con abundante texto y consciente de la evidencia, y OmniPack para la compresión omnimodal unificada. Varios trabajos describen enfoques plug-in o sin entrenamiento, mientras que CRAFT incluye componentes de fusión aprendibles.