UEmbed 统一稀疏与稠密多模态嵌入
这款仅解码器模型可在一次因果前向传播中生成词汇检索表示和稠密检索表示。
为什么重要
这项工作瞄准了检索系统中的一个实际缺口：在不依赖独立跨模态模块的情况下，结合稀疏与稠密多模态检索。这可能简化同时需要词汇精确性和多模态语义能力的搜索与 RAG 流水线。
核心要点
- 1.在一次仅解码器前向传播中生成稀疏和稠密嵌入。
- 2.发布了 2B、4B 和 9B 三种规模。
- 3.UEmbed-9B 在 MMEB-v2 上报告稠密检索 71.8、稀疏检索 71.0。
研究人员推出了 UEmbed，这是一款仅解码器多模态嵌入模型，能在单次因果前向传播中同时生成稀疏词汇表示和稠密表示。该模型通过可学习的特殊 token 和词汇表分区来生成稀疏权重，并在公共数据上训练后发布了 2B、4B 和 9B 三种规模。UEmbed-9B 报告的 MMEB-v2 分数为稠密检索 71.8、稀疏检索 71.0，超过了作者引用的公开训练多模态嵌入模型，包括 RzenEmbed。
⚡ 今天就能用
在调整多模态 RAG 架构之前，应先将 UEmbed-9B 与你当前的稠密和稀疏检索器进行评估对比。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。