UEmbed、スパースとデンスのマルチモーダル埋め込みを統合

研究者らは、スパースな語彙ベース表現とデンス表現の両方を1回の因果的フォワードパスで生成する、デコーダーのみのマルチモーダル埋め込みモデル「UEmbed」を発表した。このモデルは、学習可能な特殊トークンと語彙分割を用いてスパース重みを生成するもので、公開データで学習された後、2B、4B、9Bの各規模でリリースされている。UEmbed-9BはMMEB-v2でデンス検索71.8、スパース検索71.0のスコアを報告しており、著者らが挙げたRzenEmbedを含む公開学習済みマルチモーダル埋め込みモデルを上回った。