LoT 无需训练模型即可提升 KB-VQA 准确率

研究人员提出了 Look Twice（LoT），一个面向知识型视觉问答（KB-VQA）的免训练推理时框架。LoT 利用多模态模型自身的注意力模式，选择与查询相关的图像区域和检索到的文本句子，过滤干扰内容，并在生成答案前用高亮证据重新组织输入。论文称，在四个 KB-VQA 基准和 10 个现成多模态模型上，从 2B 到 38B 参数规模，LoT 让所有评估的骨干模型都取得提升，平均增幅最高达 12.5 个准确率百分点。