DyPES-VLA mira o controle de robôs entre diferentes corpos

Pesquisadores propuseram o DyPES-VLA, um modelo de visão-linguagem-ação para manipulação robótica entre diferentes corpos. O método treina um modelo de visão-linguagem com um objetivo de previsão futura em dados de múltiplos tipos de robôs para capturar movimento de objetos, contato e mudanças de cena geradas por interações. Ele usa uma cabeça de ação mixture-of-experts específica para cada corpo robótico para traduzir priors de dinâmica compartilhados em controles no espaço de ação nativo de cada robô, sem pré-alinhamento manual das ações.