UEmbed vereint sparse und dichte multimodale Embeddings
Das Decoder-only-Modell erzeugt lexikalische und dichte Retrieval-Repräsentationen in einem einzigen kausalen Forward Pass.
Warum es wichtig ist
Die Arbeit adressiert eine praktische Lücke in Retrieval-Systemen, indem sie sparse und dichte multimodale Suche kombiniert, ohne auf separate Cross-Modal-Module angewiesen zu sein. Das könnte Such- und RAG-Pipelines vereinfachen, die sowohl lexikalische Präzision als auch multimodale Semantik benötigen.
Die Kernpunkte
- 1.Erzeugt sparse und dichte Embeddings in einem einzigen Decoder-only-Durchlauf.
- 2.Veröffentlicht in Größen von 2B, 4B und 9B.
- 3.UEmbed-9B meldet 71,8 für dichtes und 71,0 für sparse Retrieval auf MMEB-v2.
Forscher haben UEmbed vorgestellt, ein Decoder-only-Modell für multimodale Embeddings, das sowohl sparse lexikalische als auch dichte Repräsentationen in einem einzigen kausalen Forward Pass erzeugt. Das Modell nutzt lernbare Spezial-Tokens und Vocabulary Partitioning, um sparse Gewichte zu generieren, und wird nach dem Training auf öffentlichen Daten in Größen von 2B, 4B und 9B veröffentlicht. UEmbed-9B meldet auf MMEB-v2 Werte von 71,8 für dichtes Retrieval und 71,0 für sparse Retrieval und übertrifft damit öffentlich trainierte multimodale Embedding-Modelle, die von den Autoren genannt werden, darunter RzenEmbed.
⚡ Heute ausprobieren
Prüfen Sie UEmbed-9B gegen Ihre aktuellen dichten und sparse Retriever, bevor Sie die Architektur für multimodales RAG ändern.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Forschung
Forschende stellen TTP-D für die Routenplanung mit Lkw und Drohnen vor
Der neue Benchmark kombiniert Artikelauswahl, lastabhängige Routenführung und Drohnensynchronisierung.
Studie: Audit-Reparatur-Kontext macht LLM-Prüfer nachsichtiger
Das arXiv-Paper berichtet von weniger Fehlalarmen, wenn zuvor Audit-Reparatur-Episoden im Modellkontext standen.
AlphaEvolve senkt Schranke für Matrixmultiplikation
Eine neue arXiv-Notiz meldet eine verbesserte obere Schranke für den Exponenten der Matrixmultiplikation.