Neue Studien testen Self-Distillation für agentisches RL

Drei arXiv-Studien untersuchen Self-Distillation-Methoden zum Training von Sprachmodell-Agenten mit spärlichen Reinforcement-Learning-Belohnungen. AgentOPSD schlägt ein rekursives Verfahren ohne Critic für die Credit Assignment auf Turn-Ebene vor und berichtet über Evaluationen auf ALFWorld, WebShop und Search-QA mit Qwen2.5-Modellen mit 3B und 7B Parametern. OCSD kontrastiert vollständige Replay-Ansichten mit Ansichten, bei denen Beobachtungen entfernt wurden, um Supervision aus künftigen Beobachtungen zu isolieren. Eine separate Studie argumentiert, dass Lehrer, die auf privilegierte Informationen konditioniert sind, zwar den Token-Verlust senken können, aber die Validierungsgenauigkeit bei schwierigeren Aufgaben nicht verbessern und häufig verschlechtern.