Pesquisadores miram a latência de MoE em visão e decodificação

Vários novos artigos de pesquisa se concentram em tornar modelos mixture-of-experts mais eficientes na inferência e na compreensão multimodal. O MoE-ViE estuda designs de MoE para codificadores de visão no estilo CLIP, relatando que topologias mais granulares superam versões densas e MoE padrão, com seu maior modelo igualando um codificador de ponta 1,7 vez maior com 76% de sua latência. O DeaMoE propõe especialistas agrupados com parâmetros compartilhados e privados para acelerar a decodificação em lotes pequenos, enquanto o FreeBalance propõe balanceamento de carga online antes do roteamento ao prever cargas de trabalho residuais antes que as decisões de roteamento estejam disponíveis.