Investigadores apuntan a la ineficiencia de MoE en modelos de lenguaje de difusión

Varios artículos nuevos y actualizados examinan cómo deberían adaptarse los sistemas mixture-of-experts a los modelos de lenguaje de difusión, que generan texto mediante eliminación iterativa de ruido en lugar de decodificación autoregresiva. REFLEX propone un método de inferencia sin entrenamiento que reasigna el cómputo de expertos en torno a los estados de refinamiento de tokens, manteniendo sin cambios el router predeterminado. Trabajos relacionados sostienen que el enrutamiento expert-choice, la capacidad dependiente del timestep y la activación de expertos guiada por consistencia pueden mejorar el balanceo de carga, la convergencia o la eficiencia de inferencia, mientras LLaDA MoE v2 presenta hallazgos de escalado de un modelo diffusion MoE 30B-A3B entrenado con 23,5T tokens.