ReflectRL entraîne des modèles de raisonnement à partir de trajectoires d’experts échouées

Des chercheurs ont présenté ReflectRL, un framework léger et plug-and-play destiné à améliorer le raisonnement des grands modèles de langage pendant l’entraînement on-policy. La méthode s’appuie sur des « Golden Negative Trajectories », des sorties échouées produites par des modèles experts plus puissants, non pas comme des démonstrations à imiter, mais comme des cheminements de raisonnement défaillants sur lesquels le modèle doit réfléchir avant de transférer ce comportement vers le raisonnement direct. Selon une entrée de Hugging Face Daily Papers, les auteurs ont évalué l’approche sur 9 benchmarks, 4 architectures de base de LLM et 4 configurations on-policy.