Des chercheurs identifient un mode de défaillance de l’attention ALiBi
Selon l’article, le dépassement par le bas en virgule flottante peut rendre certaines têtes d’attention ALiBi partiellement aveugles.
Pourquoi c'est important
Cette découverte suggère que les résultats des benchmarks courants peuvent passer à côté de faiblesses de récupération dues aux aspects numériques de l’encodage positionnel. Elle donne aux concepteurs de modèles un mode de défaillance concret à tester lorsqu’ils entraînent ou évaluent des systèmes à long contexte fondés sur ALiBi.
Points clés
- 1.Le dépassement par le bas en virgule flottante peut annuler les poids d’attention ALiBi.
- 2.La récupération de tokens est davantage touchée que les benchmarks standard de décodeurs.
- 3.Les distances à échelle logarithmique ont produit les gains de passkey les plus constants.
Un nouvel article publié sur arXiv met en évidence un mode de défaillance numérique dans les encodages positionnels ALiBi, où la mise à l’échelle du biais linéaire peut provoquer un dépassement par le bas de la précision en virgule flottante et annuler de nombreux poids d’attention. Les auteurs indiquent que le problème apparaît dans des modèles préentraînés de pointe fondés sur ALiBi et qu’il peut fortement dégrader la récupération de tokens, tout en n’ayant qu’un effet limité sur les benchmarks standard de décodeurs. Dans des expériences de préentraînement de décodeurs à 148 millions de paramètres, ils ont évalué quatre mesures d’atténuation appliquées à l’entraînement et constaté que les distances à échelle logarithmique amélioraient le plus régulièrement la récupération de passkeys.
⚡ À tester aujourd'hui
Si vous entraînez ou évaluez des modèles ALiBi, ajoutez des tests de récupération de tokens et de passkeys, et comparez l’atténuation par distances à échelle logarithmique aux pentes par défaut.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Des chercheurs présentent TTP-D pour l’optimisation des tournées camion-drone
Ce nouveau benchmark combine sélection d’objets, itinéraires dépendants de la charge et synchronisation du drone.
Une étude montre que le contexte d’audit-réparation rend les vérificateurs LLM plus indulgents
L’article publié sur arXiv fait état de moins de fausses alertes après des épisodes antérieurs d’audit-réparation dans le contexte du modèle.
AlphaEvolve contribue à abaisser la borne de la multiplication matricielle
Une nouvelle note publiée sur arXiv fait état d’une borne supérieure améliorée pour l’exposant de la multiplication matricielle.