Forschende nehmen spärliche Rewards im agentischen RL ins Visier

Mehrere neue arXiv-Papers schlagen Self-Distillation-Ansätze vor, um Reinforcement Learning in mehrstufigen LLM-Agenten zu verbessern, bei denen Rewards auf Trajektorienebene oft nicht erkennen lassen, welche Zwischenschritte Erfolg oder Misserfolg verursacht haben. Zu den Methoden gehören ADRS, das privilegiertes Token-Scoring und ein Teacher Value Advantage Gate nutzt; SERL-SQL, das ausführungsgestützte Rückschau auf Text-to-SQL-Agenten anwendet; GRSD, das Guidance aus verifizierten Rollouts ableitet; und PCSD, das Distillation anhand dauerhaft lehrerfavorisierender Signale gewichtet. SERL-SQL meldet eine Execution Accuracy von 76,56 % auf BIRD-Dev und 89,92 % auf Spider-Test.