DyPES-VLA 瞄准跨本体机器人控制
这项拟议中的 VLA 模型在各类机器人原生动作空间中进行控制，同时学习共享的动力学先验。
为什么重要
这项工作针对通用机器人策略中的一个关键瓶颈：如何在异构机器人身体之间迁移操作行为。如果得到验证，该方法可能减少在不同本体上训练 VLA 系统所需的手动预处理。
核心要点
- 1.从跨本体数据中学习共享动力学先验。
- 2.使用针对不同本体的 MoE 动作头来适配原生动作空间。
- 3.旨在避免对异构动作进行手动预对齐。
研究人员提出了 DyPES-VLA，这是一种面向跨本体机器人操作的视觉-语言-动作模型。该方法在跨本体数据上，以未来预测目标训练视觉-语言模型，从而捕捉物体运动、接触以及由交互驱动的场景变化。它使用针对不同本体的混合专家动作头，将共享的动力学先验转化为各类机器人本体原生动作空间中的控制指令，无需手动进行动作预对齐。
⚡ 今天就能用
在设计依赖手动动作空间对齐的跨机器人 VLA 训练流程前，先阅读这篇论文。
来源与原始报道
本简报汇总并链接到以下媒体的报道。
- arXiv cs.AISkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied ManipulationAug 7, 12:00 PM↗
- arXiv cs.AIRESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic ManipulationAug 6, 12:00 PM↗
- arXiv cs.LGRESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic ManipulationAug 6, 12:00 PM↗
- HF Daily PapersDyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment ManipulationAug 6, 4:00 AM↗
觉得这篇简报有用？下一篇直接送到你的邮箱。