DyPES-VLA vise le contrôle robotique multi-incarnations
Le modèle VLA proposé apprend des a priori dynamiques partagés tout en pilotant les robots dans leurs espaces d’action natifs.
Pourquoi c'est important
Ces travaux s’attaquent à un goulet d’étranglement majeur des politiques robotiques généralistes : le transfert de comportements de manipulation entre des corps robotiques hétérogènes. Si elle est validée, cette approche pourrait réduire le prétraitement manuel nécessaire pour entraîner des systèmes VLA sur différentes incarnations.
Points clés
- 1.Apprend des a priori dynamiques partagés à partir de données multi-incarnations.
- 2.Utilise des têtes MoE propres à chaque incarnation pour les espaces d’action natifs.
- 3.Vise à éviter le pré-alignement manuel d’actions hétérogènes.
Des chercheurs ont proposé DyPES-VLA, un modèle vision-langage-action destiné à la manipulation robotique entre différentes incarnations. La méthode entraîne un modèle vision-langage avec un objectif de prédiction du futur sur des données multi-incarnations afin de capturer le mouvement des objets, les contacts et les changements de scène provoqués par les interactions. Elle utilise une tête d’action en mélange d’experts propre à chaque incarnation pour traduire les a priori dynamiques partagés en commandes dans l’espace d’action natif de chaque robot, sans pré-alignement manuel des actions.
⚡ À tester aujourd'hui
Lisez l’article avant de concevoir des pipelines d’entraînement VLA inter-robots reposant sur un alignement manuel des espaces d’action.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
- arXiv cs.AISkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied ManipulationAug 7, 12:00 PM↗
- arXiv cs.AIRESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic ManipulationAug 6, 12:00 PM↗
- arXiv cs.LGRESample: A Robust Data Augmentation Framework via Exploratory Sampling for Robotic ManipulationAug 6, 12:00 PM↗
- HF Daily PapersDyPES-VLA: Learning Shared Dynamics Priors and Embodiment-Specific Control for Cross-Embodiment ManipulationAug 6, 4:00 AM↗
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Une étude montre que le contexte d’audit-réparation rend les vérificateurs LLM plus indulgents
L’article publié sur arXiv fait état de moins de fausses alertes après des épisodes antérieurs d’audit-réparation dans le contexte du modèle.
AlphaEvolve contribue à abaisser la borne de la multiplication matricielle
Une nouvelle note publiée sur arXiv fait état d’une borne supérieure améliorée pour l’exposant de la multiplication matricielle.
InternLM propose l’architecture de modèle Mobius
L’article publié sur arXiv sépare mémoire et raisonnement afin d’améliorer la compression et l’efficacité de l’inférence.