Forscher veröffentlichen multimodale UEmbed-Embeddings

Forscher haben UEmbed vorgestellt, ein multimodales Embedding-Modell mit Decoder-only-Architektur, das sowohl sparse lexikalische als auch dichte Repräsentationen in einem einzigen kausalen Forward Pass erzeugt. Das Modell hängt lernbare Spezial-Tokens an die Eingabe an, teilt das Vokabular in disjunkte Teilmengen auf und nutzt den Hidden State jedes Tokens, um sparse Gewichte vorherzusagen. Das Team veröffentlichte Versionen mit 2B, 4B und 9B Parametern, die auf öffentlichen Daten trainiert wurden; UEmbed-9B erzielte auf MMEB-v2 Werte von 71,8 für dichte und 71,0 für sparse Repräsentationen.