Des chercheurs testent des harnesses pour agents incarnés
Thea et SHAPER appliquent aux robots et à l’IA incarnée des idées d’infrastructure issues des agents de codage.
Pourquoi c'est important
Ces travaux déplacent l’attention des seuls poids du modèle vers le système d’exécution qui entoure l’IA incarnée. Ils suggèrent que les progrès des agents robotiques pourraient dépendre de meilleures représentations de l’état, interfaces d’action, boucles d’évaluation et compétences réutilisables.
Points clés
- 1.Thea encapsule les capacités robotiques sous forme d’outils appelables.
- 2.SHAPER fait évoluer des compétences et le code du harness sans mettre à jour les paramètres du modèle.
- 3.Les deux articles présentent la conception du harness comme centrale pour les performances des agents incarnés.
Deux nouveaux articles examinent si le modèle de harness utilisé par les agents de codage peut améliorer les agents incarnés. Le premier présente Thea, un harness pour agent robotique qui encapsule des capacités sous forme d’outils appelables et ajoute un graphe de scène persistant ainsi qu’un mécanisme d’évaluation des actions pour boucler la boucle dans des environnements physiques. Le second présente SHAPER, un cadre d’adaptation sans entraînement qui garde les paramètres du modèle gelés tout en faisant évoluer des compétences réutilisables et un harness de contexte-code via des déploiements dans l’environnement cible, avec une évaluation sur VLABench et ESI-Bench.
⚡ À tester aujourd'hui
Avant de fine-tuner un agent incarné, vérifiez si ses outils, sa représentation du contexte et sa boucle d’évaluation des actions peuvent être améliorés sans mise à jour des paramètres.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
- arXiv cs.AITowards the Harness of Embodied AgentsAug 13, 12:00 PM↗
- arXiv cs.LGTowards the Harness of Embodied AgentsAug 13, 12:00 PM↗
- arXiv cs.CLSelf-Evolving Embodied Agents via Skill-Harness EvolutionAug 13, 12:00 PM↗
- HF Daily PapersSelf-Evolving Embodied Agents via Skill-Harness EvolutionAug 11, 4:00 AM↗
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Recherche
Une startup affirme que les données sont essentielles aux avancées de l’IA contre le cancer
Selon TechCrunch, la startup estime que l’IA est encore loin de guérir le cancer sans de meilleures données.
HarnessRisk évalue les défaillances de sécurité dans les harnais d’agents
Le benchmark teste des attaques à différentes phases des harnais d’agents, tandis que des travaux connexes étudient le provisionnement propre à chaque tâche.
Agent Lightning v1.0 cible le RL agentique avec harnais
Le framework relie des harnais d’agents arbitraires au post-entraînement par apprentissage par renforcement.