이미 익힌 것이 아니라 아직 남은 것을 학습하라: 다중 보상 정책 최적화를 위한 포화도 인식 어드밴티지 재가중

arXiv:2608. 16072v1 발표 유형: 교차 분야 초록: 그룹 상대 어드밴티지를 활용한 강화학습(RL)은 언어 모델 추론기의 사후 학습에서 사실상 표준으로 자리 잡았다. 하지만 여러 보상 목표를 동시에 최적화할 때 기존 방법들은 대체로 그룹별 표준화에 앞서 고정 가중합으로 보상 벡터를 스칼라화한다.