Aprenda o que falta, não o que já foi dominado: reponderação de vantagem sensível à saturação para otimização de políticas com múltiplas recompensas

arXiv:2608. 16072v1 Tipo de anúncio: cross. Resumo: O aprendizado por reforço (RL) com vantagens relativas ao grupo se tornou o padrão de fato para o pós-treinamento de modelos de linguagem voltados a raciocínio. No entanto, ao otimizar múltiplos objetivos de recompensa, os métodos existentes normalmente escalarizam o vetor de recompensas com uma soma ponderada fixa antes da padronização por grupo.