De nouveaux articles évaluent l’auto-distillation pour l’apprentissage par renforcement des LLM

Plusieurs nouveaux articles publiés sur arXiv examinent des méthodes d’auto-distillation pour le post-entraînement de grands modèles de langage par apprentissage par renforcement. L’un propose Instruction-Conditioned Exploration, qui ajoute des instructions d’entraînement fixes et distille les déroulés corrects dans une politique non conditionnée au moment du test, avec un gain relatif de 5,0 % en pass@1 sur un ensemble de test tenu à l’écart par rapport à DAPO pour Qwen3-1.7B en raisonnement mathématique, avec une longueur de réponse de 4K. Un autre présente Observation-Calibrated Self-Distillation pour le RL agentique, tandis qu’un troisième indique que l’auto-distillation fondée sur des informations privilégiées peut reproduire des gains dans des contextes simples, mais échoue souvent à améliorer la précision de validation, et peut même la dégrader, sur des tâches plus difficiles de questions-réponses, de mathématiques, de code et d’utilisation d’outils.