DistilVDR compresse la recherche visuelle de documents
Ce moteur de recherche à 524 millions de paramètres utilise une distillation bilatérale à partir d’un modèle enseignant vision-langage de 8 milliards de paramètres.
Pourquoi c'est important
Ces travaux s’attaquent à un goulot d’étranglement pratique de la recherche visuelle de documents : le coût d’indexation et de service de systèmes à plusieurs milliards de paramètres ou à vecteurs multiples à l’échelle d’un corpus. Ils suggèrent que des modèles VDR compacts à vecteur unique pourraient conserver une grande partie de la qualité de recherche d’un modèle enseignant plus vaste, avec des exigences de service plus simples.
Points clés
- 1.DistilVDR est un système VDR de bout en bout à 524 millions de paramètres.
- 2.L’entraînement utilise uniquement l’espace d’embedding du modèle enseignant gelé.
- 3.HiRes atteint un NDCG@5 moyen de 61,74 sur ViDoRe v1+v2+v3.
Des chercheurs ont présenté DistilVDR, un système de recherche visuelle de documents de bout en bout doté de 524 millions de paramètres, distillé à partir d’un modèle enseignant vision-langage gelé de 8 milliards de paramètres. Le système repose sur une architecture compacte d’encodeurs asymétriques, dont un côté requête à 70 millions de paramètres, et ne nécessite ni labels de pertinence, ni échantillonnage négatif, ni terme contrastif pour l’entraînement de l’étudiant. Sa variante HiRes affiche un NDCG@5 moyen de 61,74 sur ViDoRe v1+v2+v3, soit 86,9 % du niveau de l’enseignant, et devance les baselines sub-1B reproduites sur le benchmark v3.
⚡ À tester aujourd'hui
Lisez l’article DistilVDR avant de choisir un grand modèle VDR pour des charges de travail de recherche documentaire.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
- arXiv cs.CLDistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student DistillationAug 12, 12:00 PM↗
- arXiv cs.CLAnchorFold: A Focus-Then-Fold Framework via Recursive Attention Propagation for Efficient Multi-Vector Visual Document RetrievalAug 11, 12:00 PM↗
- HF Daily PapersDistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student DistillationAug 11, 4:00 AM↗
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.
Les outils et pratiques de développement IA suscitent le débat sur Hacker News
Des publications sur MathCode, les habitudes de codage avec l’IA, Cloudflare et HEIR de Google ont alimenté les discussions.
Google fait progresser l’IA privée grâce au chiffrement homomorphe
Google affirme rendre l’IA privée plus concrètement utilisable grâce au chiffrement homomorphe.