MoE-ViE apunta a escalar encoders de visión de forma eficiente

Investigadores presentaron MoE-ViE, una serie de encoders de visión Mixture-of-Experts diseñados para mejorar la comprensión de imágenes y video sin asumir todo el coste computacional del escalado denso. El trabajo señala que las topologías MoE de grano fino superan a sus equivalentes densos y MoE estándar, con balanceo sin pérdida auxiliar, un kernel MoE especializado y destilación a nivel de fotograma con congelación para capacidades de video. Según el informe, el modelo más grande iguala el rendimiento zero-shot de un encoder de última generación 1,7 veces mayor, con el 76% de su latencia.