研究人员瞄准视频与全模态 LLM 的 token 成本

近期六篇论文提出了多种方法，用于减少多模态和全模态大语言模型需要处理的视觉、视频、音频以及富文本 token 负载。这些方法包括全局时空剪枝、递归自适应 token 融合、基于离线码本的压缩、按模态预算进行排序、面向 OCR 输入的证据感知剪枝，以及在 LLM 前端与 LLM 内部协同进行的全模态压缩。多篇论文将这些系统描述为插件式或无需训练，并报告称，在视频、音视频和 OCR 基准测试中，它们能在使用更少 token 的同时保持准确率。