WorldCycle, 자체 검증 RL로 비디오 월드 모델 학습

연구진은 장기 예측에서 누적 오류를 줄이는 것을 목표로 한 인터랙티브 비디오 월드 모델용 강화학습 프레임워크 WorldCycle을 공개했다. 이 방법은 일반적인 행동 시퀀스에서 닫힌 행동 사이클을 만들고, 어떤 시퀀스 뒤에 그 역행동을 수행하면 초기 상태로 돌아와야 한다는 성질을 주석 없는 감독 신호로 활용한다. 공간적 폐쇄성과 시간적 일관성 보상을 최적화해, 분포 밖의 복합 행동 사이클에서도 행동이 일관된 상태 연산자처럼 작동하도록 만든다.