EffectLearner 聚焦视频移除中的物体影响
该框架将 VLM 推理与 DiT 视频擦除器结合，用于真实场景中的物体及其影响移除。
为什么重要
这项工作针对的是现有视频物体移除方法的一项局限：它们往往依赖预定义的影响类别和固定的数据分布。更好的物体影响推理能力，可能提升复杂场景中的编辑质量，尤其是处理与物体分离、弱相关或持续变化的物理影响时。
核心要点
- 1.EffectLearner 将 VLM 推理与基于 DiT 的视频擦除结合起来。
- 2.该方法针对与物体分离、弱相关和持续变化的物体影响。
- 3.EffectWorld 为真实场景中的物体及其影响移除提供了成对视频。
研究人员提出了 EffectLearner，这是一个用于视频物体移除的框架，目标是同时擦除目标物体及其造成的视觉影响。该系统结合了基于 VLM 的 Object-Effect Reasoner 和基于 DiT 的 Video Eraser，通过结构化的影响分析、运动感知的掩码引导以及运动一致性监督，提升覆盖范围和时间稳定性。作者还构建了 EffectWorld，这是一个面向复杂真实场景的成对视频数据集。
⚡ 今天就能用
在构建需要处理物体诱发影响的视频物体移除流程前，先阅读这篇论文，而不只是关注物体掩码。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
觉得这篇简报有用？下一篇直接送到你的邮箱。