Investigadores apuntan a reducir la latencia de MoE en visión y decodificación

Varios nuevos papers de investigación se centran en hacer que los modelos mixture-of-experts sean más eficientes en inferencia y comprensión multimodal. MoE-ViE estudia diseños MoE para codificadores de visión al estilo CLIP y reporta que las topologías de grano fino superan a las versiones densas y MoE estándar; su modelo más grande iguala a un codificador de última generación 1,7 veces mayor con el 76% de su latencia. DeaMoE propone expertos agrupados con parámetros compartidos y privados para acelerar la decodificación en lotes pequeños, mientras que FreeBalance plantea un balanceo de carga en línea previo al enrutamiento mediante la predicción de cargas de trabajo residuales antes de que estén disponibles las decisiones de enrutamiento.