SIGNPOST-Bench 测试 MLLM 中的文本与视觉冲突
新基准发现，对抗性场景文本会显著削弱多模态定位能力。
为什么重要
结果表明，即使保留非文本图像内容，当前 MLLM 也可能受到冲突场景文本的实质性引导。这关系到用于真实世界落地推理的视觉语言系统的安全性和可靠性。
核心要点
- 1.SIGNPOST-Bench 包含横跨四个数据集的 25,555 个图像变体。
- 2.对抗性文本使定位误差中位数增加了 4.8 倍。
- 3.所有接受评估的模型都表现出向注入的地理目标偏移的现象。
研究人员推出了 SIGNPOST-Bench，这是一个受控的反事实基准，用于评估多模态大语言模型如何处理视觉线索与文本线索之间的冲突。该基准包含来自四个数据集的 5,111 个反事实组和 25,555 个图像变体，并被用于评估七家提供商的 20 个 MLLM。在对抗性变体中，定位误差中位数从 282 公里升至 1,347 公里，增加了 4.8 倍。
⚡ 今天就能用
在依赖 MLLM 进行地理定位或基于场景的决策之前，应采用 SIGNPOST-Bench 这类反事实测试。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。