Aprender lo que queda, no lo ya dominado: reponderación de ventajas consciente de la saturación para la optimización de políticas con múltiples recompensas

arXiv:2608. 16072v1 Tipo de anuncio: cross. Resumen: El aprendizaje por refuerzo (RL) con ventajas relativas al grupo se ha convertido en el estándar de facto para el posentrenamiento de modelos de lenguaje razonadores. Sin embargo, al optimizar múltiples objetivos de recompensa, los métodos existentes suelen escalarizar el vector de recompensas mediante una suma ponderada fija antes de la estandarización por grupos.