Pesquisadores miram ineficiências de MoE em modelos de linguagem por difusão

Vários artigos novos e atualizados analisam como sistemas mixture-of-experts devem ser adaptados para modelos de linguagem por difusão, que geram texto por denoising iterativo em vez de decodificação autorregressiva. O REFLEX propõe um método de inferência sem treinamento que realoca a computação dos especialistas em torno dos estados de refinamento dos tokens, mantendo inalterado o roteador padrão. Trabalhos relacionados argumentam que roteamento por escolha de especialistas, capacidade dependente do timestep e ativação de especialistas guiada por consistência podem melhorar o balanceamento de carga, a convergência ou a eficiência de inferência, enquanto o LLaDA MoE v2 relata achados de escalabilidade de um modelo diffusion MoE 30B-A3B treinado em 23,5T tokens.