Des chercheurs s’attaquent à la latence des MoE en vision et en décodage

Plusieurs nouveaux articles de recherche cherchent à rendre les modèles mixture-of-experts plus efficaces lors de l’inférence et pour la compréhension multimodale. MoE-ViE étudie des architectures MoE pour des encodeurs visuels de type CLIP et indique que des topologies à granularité fine surpassent les modèles denses et les versions MoE standard, son plus grand modèle égalant un encodeur de pointe 1,7 fois plus volumineux avec 76 % de sa latence. DeaMoE propose des experts groupés avec des paramètres partagés et privés afin d’accélérer le décodage en petits lots, tandis que FreeBalance propose un équilibrage de charge en ligne avant routage, en prédisant les charges de travail résiduelles avant que les décisions de routage ne soient disponibles.