WorldRover 엔진, 주석이 달린 합성 비디오 데이터 생성
Unreal Engine 기반 파이프라인이 깊이, 카메라 경로, 행동 신호를 포함한 긴 탐색 영상을 만들어낸다.
왜 중요한가
월드 모델과 인터랙티브 비디오 시스템에는 RGB를 넘어 기하, 움직임, 제어 신호까지 포함한 학습 데이터가 필요하다. WorldRover는 실제 촬영에서 대규모로 확보하기 어려운 정렬된 합성 주석으로 이 공백을 겨냥한다.
핵심 포인트
- 1.WorldRover는 아티스트가 제작한 환경에서 분 단위 경로를 렌더링한다.
- 2.시퀀스는 RGB에 깊이, 카메라 궤적, 행동 신호를 함께 짝지어 제공한다.
- 3.탐색은 다양한 시점과 환경 상태에서 다시 재생할 수 있다.
연구진은 아티스트가 제작한 환경을 풍부한 주석과 함께 탐색하는 합성 비디오 데이터 엔진 WorldRover를 공개했다. Unreal Engine 파이프라인은 전체 이동 궤적과 장면 기하 정보를 보존하면서 분 단위 경로를 오프라인 렌더링하며, 동일한 탐색을 서로 다른 환경 상태에서 1인칭, 3인칭, 360도 파노라마 카메라로 다시 재생할 수 있다. 연구팀은 이를 활용해 RGB 비디오에 미터 단위 깊이, 카메라 궤적, 궤적에서 도출한 행동 신호를 결합한 WorldRover-10M을 구축했다.
⚡ 오늘 바로 활용
깊이, 궤적, 행동 라벨이 필요한 비디오 월드 모델 데이터셋을 구축하기 전에 WorldRover-10M을 검토할 만하다.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 제품
Robin Williams’ Instagram account brought back to fight ‘AI abuse’
Robin Williams' children are taking over their father's Instagram account after his daughter spoke out against the use of his AI likeness, as reported earlier b
IBM, AI 에이전트에 필요한 메모리 규모를 실험하다
ALTK-Evolve 연구는 에이전트 메모리의 효과가 모델 역량과 제공 방식에 따라 달라진다고 분석했다.
Warp, AI 개발 위한 Warp Factories 공개
AI 소프트웨어 팩토리 구축을 더 쉽게 하기 위한 시스템이다.