UEmbed unifica embeddings multimodais esparsos e densos
O modelo decoder-only gera representações lexicais e densas para recuperação em uma única passada causal.
Por que importa
O trabalho mira uma lacuna prática em sistemas de recuperação ao combinar recuperação multimodal esparsa e densa sem depender de módulos cross-modal separados. Isso pode simplificar pipelines de busca e RAG que precisam tanto de precisão lexical quanto de semântica multimodal.
Pontos-chave
- 1.Produz embeddings esparsos e densos em uma única passada decoder-only.
- 2.Lançado em escalas de 2B, 4B e 9B.
- 3.O UEmbed-9B reporta 71,8 em recuperação densa e 71,0 em recuperação esparsa no MMEB-v2.
Pesquisadores apresentaram o UEmbed, um modelo multimodal de embeddings decoder-only que produz tanto representações lexicais esparsas quanto densas em uma única passada causal. O modelo usa tokens especiais aprendíveis e particionamento de vocabulário para gerar pesos esparsos, e foi lançado em escalas de 2B, 4B e 9B após treinamento com dados públicos. O UEmbed-9B reporta pontuações no MMEB-v2 de 71,8 para recuperação densa e 71,0 para recuperação esparsa, superando modelos multimodais de embeddings treinados publicamente citados pelos autores, incluindo o RzenEmbed.
⚡ Experimente hoje
Avalie o UEmbed-9B em comparação com seus recuperadores densos e esparsos atuais antes de mudar a arquitetura de RAG multimodal.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Google testa AMIE em consultas médicas por vídeo em tempo real
O sistema de pesquisa baseado no Gemini foi avaliado em consultas simuladas de telessaúde.
Modelo da Anthropic avança em trabalho sobre a hipótese de Riemann
Um modelo ainda não lançado da Anthropic fez avanços no problema matemático há muito tempo sem solução, segundo o TechCrunch.
IBM detalha método de memória de agentes ALTK-Evolve
O sistema recupera diretrizes específicas da tarefa para reduzir tokens de inferência em comparação com o ACE.