De nouveaux articles ciblent l’attention éparse pour l’IA à long contexte

Plusieurs nouveaux articles publiés sur arXiv proposent des moyens de réduire le coût de l’attention à long contexte dans les systèmes Transformer. Ces travaux portent notamment sur l’affinage de modèles afin qu’ils se coadaptent avec des politiques d’attention éparse pour le KV-cache, FlashPrefill V2 pour l’attention de préremplissage block-sparse dans le serving de LLM, SparsePR pour une attention éparse sans entraînement dans la génération vidéo et les modèles du monde, ainsi que MoNe, une mémoire neuronale modulaire pour des Transformers gelés. Les articles font état d’améliorations telles qu’une erreur de reconstruction plus faible, la prise en charge de fonctionnalités de serving orientées production, ainsi qu’une réduction du calcul et de la mémoire pour des contextes de 128K tokens.