Nuevos estudios ponen a prueba la autodestilación para el aprendizaje por refuerzo en LLM

Varios nuevos artículos en arXiv examinan métodos de autodestilación para el post-entrenamiento de grandes modelos de lenguaje mediante aprendizaje por refuerzo. Un estudio propone Instruction-Conditioned Exploration, que añade instrucciones de entrenamiento fijas y destila ejecuciones correctas en una política no condicionada para el momento de inferencia; reporta una mejora relativa del 5,0% en pass@1 sobre un conjunto reservado frente a DAPO para Qwen3-1.7B en razonamiento matemático con respuestas de 4K de longitud. Otro propone Observation-Calibrated Self-Distillation para RL agéntico, mientras un tercero informa que la autodestilación con información privilegiada puede reproducir mejoras en escenarios sencillos, pero a menudo no logra mejorar, e incluso puede degradar, la precisión de validación en tareas más difíciles de QA, matemáticas, programación y uso de herramientas.