4DAnyone 可从单目视频重建 4D 人体
该框架结合多视角一致的视频生成与 4D Gaussian Splatting。
为什么重要
这项工作瞄准了将普通视频转化为动态人体 3D/4D 表征时的一个现实瓶颈。其 Reference Context Packing 和 Target Context Routing 设计旨在提升基于扩散模型的重建流程在可扩展性和一致性方面的表现。
核心要点
- 1.从未标定单目视频中重建 4D 人体。
- 2.结合多视角一致的视频生成与 4D Gaussian Splatting。
- 3.解决多视角扩散生成中的有限注意力上下文问题。
研究人员推出了 4DAnyone，这是一种可从未标定单目视频中重建 4D 人体的框架。该方法先生成达到重建质量的多视角一致视频，再将其提升为 4D Gaussian Splatting，以解决相机可控视频扩散模型在生成数十个目标视角时出现的一致性问题。
⚡ 今天就能用
在构建需要大量一致目标视角的单目视频到 4D 人体重建管线之前，建议先阅读这篇论文。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。