WorldRover 引擎生成带标注的合成视频数据
这套 Unreal Engine 流水线可生成长时间探索视频,并附带深度、相机路径和动作信号。
为什么重要
世界模型和交互式视频系统需要超越 RGB 的训练数据,包括几何、运动和控制信号。WorldRover 通过对齐的合成标注来填补这一缺口,而这些标注很难通过真实世界采集大规模获得。
核心要点
- 1.WorldRover 可在艺术家构建的环境中渲染分钟级路线。
- 2.序列将 RGB 与深度、相机轨迹和动作信号配对。
- 3.探索过程可在不同视角和环境状态下重放。
研究人员推出了 WorldRover,这是一款合成视频数据引擎,用于生成对艺术家构建环境的丰富标注探索数据。其 Unreal Engine 流水线可离线渲染分钟级路线,同时保留完整轨迹和场景几何信息,并能在不同环境状态下,以第一人称、第三人称和 360 度全景相机重放同一次探索。团队用它构建了 WorldRover-10M,将 RGB 视频与度量深度、相机轨迹和由轨迹派生的动作信号配对。
⚡ 今天就能用
在构建需要深度、轨迹或动作标签的视频世界模型数据集之前,先评估 WorldRover-10M。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用?下一篇直接送到你的邮箱。
更多 产品
产品
Robin Williams’ Instagram account brought back to fight ‘AI abuse’
Robin Williams' children are taking over their father's Instagram account after his daughter spoke out against the use of his AI likeness, as reported earlier b
The Verge AI·6h ago
产品
IBM 测试 AI 智能体究竟需要多少记忆
ALTK-Evolve 研究发现,智能体记忆带来的收益取决于模型能力和投放策略。
Hugging Face·7h ago
产品
Warp 推出面向 AI 开发的 Warp Factories
该系统旨在简化 AI 软件工厂的搭建。
TechCrunch AI·12h ago