Des chercheurs s’attaquent aux échecs de distillation on-policy chez les agents

Un ensemble de récents articles publiés sur arXiv propose de nouvelles façons d’entraîner des agents fondés sur des modèles de langage, intégrés à des outils et capables d’échanges multi-tours, au moyen de la distillation on-policy et de l’apprentissage par renforcement. Parmi ces méthodes figurent TurnSight, SOD, ATOD, PG-OPD et RSTG, qui s’attaquent toutes à des problèmes de fiabilité tels que les récompenses clairsemées, les erreurs en cascade dans les appels d’outils, la divergence enseignant-élève, l’inefficacité des longs rollouts et la perte de gradients dans les groupes de récompenses à variance nulle. Les articles rapportent des expériences couvrant le raisonnement à long horizon, les mathématiques, les sciences, le code et les tâches d’agents interactifs, mais les résumés fournis n’établissent pas de méthode nettement dominante sur un benchmark unique couvrant l’ensemble des approches.