研究人员瞄准视频扩散中的反射问题
两篇论文聚焦视频反射：一篇用于去除玻璃反射，另一篇用于生成镜面反射。
为什么重要
反射仍是视频模型和下游视觉系统的薄弱环节，因为它同时要求物理真实感以及时间或空间一致性。这些论文表明，扩散模型正被改造用于更细分的视觉现象，而不只是通用生成。
核心要点
- 1.S2R 侧重于玻璃反射的合成、去除和评测。
- 2.MirrorWorld 面向视频修复中的一致镜面反射。
- 3.两者都将视频扩散模型适配到反射相关的特定约束。
研究人员提出了两种以反射为核心的视频扩散方法。S2R 提出一个闭环框架，用于具备物理依据的反射视频合成、基于扩散的视频去反射以及基准评测，其中包括一个由预训练视频扩散先验改造而来的去除模型。MirrorWorld 则提出一个具备反射感知能力的视频修复框架，用于生成镜面反射，并通过语义关系蒸馏和几何变换对齐来提升场景与镜中画面的一致性。
⚡ 今天就能用
在构建需要去除玻璃反射或生成一致镜面场景的视频流程之前，应先研究这些论文。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。