Neue Papers testen Self-Distillation für Reinforcement Learning bei LLMs

Mehrere neue arXiv-Papers untersuchen Self-Distillation-Methoden für das Post-Training großer Sprachmodelle mit Reinforcement Learning. Ein Paper stellt Instruction-Conditioned Exploration vor: Dabei werden feste Trainingsanweisungen ergänzt und korrekte Rollouts in eine unbedingte Testzeit-Policy destilliert. Für Qwen3-1.7B wird bei mathematischem Schlussfolgern mit 4K-Antwortlänge ein relativer Zuwachs von 5,0 % beim Held-out-pass@1 gegenüber DAPO berichtet. Ein weiteres Paper schlägt Observation-Calibrated Self-Distillation für agentisches RL vor, während ein drittes berichtet, dass Self-Distillation mit privilegierten Informationen in einfachen Szenarien Zugewinne reproduzieren kann, auf schwierigeren QA-, Mathematik-, Coding- und Tool-Use-Aufgaben aber häufig keine Verbesserung bringt und die Validierungsgenauigkeit sogar verschlechtern kann.