研究者ら、拡散型言語モデルにおけるMoEの非効率性に照準

複数の新規・更新論文が、自己回帰型デコーディングではなく反復的なノイズ除去によってテキストを生成する拡散型言語モデルに、mixture-of-experts（MoE）システムをどう適応させるべきかを検討している。REFLEXは、デフォルトのルーターを変更せず、トークンの精緻化状態に応じてエキスパート計算を再配分する、学習不要の推論手法を提案する。関連研究では、expert-choice routing、タイムステップ依存の容量設定、一貫性に基づくエキスパート活性化が、負荷分散、収束、推論効率を改善し得ると論じている。一方、LLaDA MoE v2は、23.5Tトークンで学習した30B-A3Bの拡散MoEモデルについてスケーリング結果を報告している。