Des chercheurs proposent DASH pour réduire la sur-réflexion des modèles de raisonnement
Cette méthode de crédit au niveau des segments utilise des engagements intermédiaires de réponse pour orienter l’entraînement des modèles de raisonnement.
Pourquoi c'est important
Ces travaux visent une inefficacité concrète des modèles de raisonnement : des traces plus longues peuvent accroître les coûts sans améliorer la précision. Le crédit au niveau des segments pourrait aider les méthodes d’entraînement à récompenser les réflexions utiles tout en décourageant les boucles de raisonnement improductives.
Points clés
- 1.DASH attribue le crédit au niveau des segments de raisonnement.
- 2.La méthode utilise les engagements intermédiaires de réponse comme signal indirect.
- 3.Elle annonce une précision moyenne de 59,45 % sur des benchmarks mathématiques de niveau compétition.
Un article publié sur arXiv présente DASH, pour Drift Aware advantage SHaping, une méthode d’attribution de crédit au niveau des segments destinée aux modèles de langage de raisonnement. Selon les auteurs, ces modèles ont souvent tendance à trop réfléchir, en multipliant les formulations prudentes, les pistes abandonnées et les contradictions internes, ce qui consomme des tokens sans améliorer les réponses. DASH s’appuie sur des engagements intermédiaires de réponse comme indicateur peu coûteux pour évaluer si la réflexion ultérieure rapproche ou éloigne de la bonne réponse, et fait état d’une précision moyenne de 59,45 % sur des benchmarks mathématiques de niveau compétition, contre 58,1 % pour Dr.GRPO et 56,95 % pour GRPO dans des contextes où la sur-réflexion est fréquente.
⚡ À tester aujourd'hui
Lisez l’article avant d’ajuster des objectifs de RL pour modèles de raisonnement qui récompensent les longues chaînes de pensée.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Une étude montre que le contexte d’audit-réparation rend les vérificateurs LLM plus indulgents
L’article publié sur arXiv fait état de moins de fausses alertes après des épisodes antérieurs d’audit-réparation dans le contexte du modèle.
AlphaEvolve contribue à abaisser la borne de la multiplication matricielle
Une nouvelle note publiée sur arXiv fait état d’une borne supérieure améliorée pour l’exposant de la multiplication matricielle.
InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.