연구진, 비전과 디코딩에서 MoE 지연 시간 단축에 초점

여러 새 연구 논문이 mixture-of-experts 모델의 추론 효율성과 멀티모달 이해 성능을 높이는 데 초점을 맞추고 있다. MoE-ViE는 CLIP 스타일 비전 인코더를 위한 MoE 설계를 연구하며, 세분화된 토폴로지가 dense 모델과 표준 MoE 버전보다 뛰어나다고 보고했다. 특히 가장 큰 모델은 자기보다 1.7배 큰 최신 인코더와 같은 수준의 성능을 내면서 지연 시간은 76%에 그쳤다. DeaMoE는 더 빠른 소규모 배치 디코딩을 위해 공유 및 전용 파라미터를 갖춘 그룹화된 expert를 제안하고, FreeBalance는 라우팅 결정이 나오기 전에 잔여 작업량을 예측해 사전 라우팅 방식의 온라인 부하 분산을 제안한다.