De nouveaux articles testent l’auto-distillation pour le RL agentique

Trois articles arXiv examinent des méthodes d’auto-distillation pour entraîner des agents fondés sur des modèles de langage avec des récompenses rares en apprentissage par renforcement. AgentOPSD propose une méthode récursive sans critique pour attribuer le crédit au niveau de chaque tour, et présente des évaluations sur ALFWorld, WebShop et Search-QA avec des modèles Qwen2.5 3B et 7B. OCSD propose de comparer des vues de rejeu complètes et des vues dont les observations sont masquées afin d’isoler la supervision provenant des observations futures, tandis qu’un article distinct soutient que des enseignants conditionnés par des informations privilégiées peuvent réduire la perte par token sans améliorer, et souvent en dégradant, la précision de validation sur des tâches plus difficiles.