Forschende testen Harnesses für verkörperte Agenten
Thea und SHAPER übertragen Infrastrukturideen von Coding-Agenten auf Roboter und verkörperte KI.
Warum es wichtig ist
Die Arbeiten lenken den Fokus bei verkörperter KI weg von Modellgewichten allein hin zum umgebenden Ausführungssystem. Sie legen nahe, dass Fortschritte bei Robotik-Agenten von besseren Zustandsrepräsentationen, Aktionsschnittstellen, Evaluationsschleifen und wiederverwendbaren Skills abhängen könnten.
Die Kernpunkte
- 1.Thea kapselt Roboterfähigkeiten als aufrufbare Tools.
- 2.SHAPER entwickelt Skills und Harness-Code weiter, ohne Modellparameter zu aktualisieren.
- 3.Beide Paper stellen Harness-Design als zentral für die Leistung verkörperter Agenten dar.
Zwei neue Paper untersuchen, ob das von Coding-Agenten genutzte Harness-Modell verkörperte Agenten verbessern kann. Eines stellt Thea vor, ein Robotik-Agenten-Harness, das Fähigkeiten als aufrufbare Tools kapselt und einen persistenten Szenengraphen sowie einen Mechanismus zur Bewertung von Aktionen ergänzt, um den Regelkreis in physischen Umgebungen zu schließen. Das andere präsentiert SHAPER, ein trainingsfreies Adaptionsframework, das Modellparameter unverändert lässt und zugleich wiederverwendbare Skills sowie ein Kontext-Code-Harness durch Rollouts in Zielumgebungen weiterentwickelt, evaluiert auf VLABench und ESI-Bench.
⚡ Heute ausprobieren
Bevor ein verkörperter Agent fine-getuned wird, sollte geprüft werden, ob sich seine Tools, seine Kontextrepräsentation und seine Aktionsbewertungsschleife ohne Parameter-Updates verbessern lassen.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
- arXiv cs.AITowards the Harness of Embodied AgentsAug 13, 12:00 PM↗
- arXiv cs.LGTowards the Harness of Embodied AgentsAug 13, 12:00 PM↗
- arXiv cs.CLSelf-Evolving Embodied Agents via Skill-Harness EvolutionAug 13, 12:00 PM↗
- HF Daily PapersSelf-Evolving Embodied Agents via Skill-Harness EvolutionAug 11, 4:00 AM↗
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Forschung
Studie: Audit-Reparatur-Kontext macht LLM-Prüfer nachsichtiger
Das arXiv-Paper berichtet von weniger Fehlalarmen, wenn zuvor Audit-Reparatur-Episoden im Modellkontext standen.
AlphaEvolve senkt Schranke für Matrixmultiplikation
Eine neue arXiv-Notiz meldet eine verbesserte obere Schranke für den Exponenten der Matrixmultiplikation.
InternLM schlägt Mobius-Modellarchitektur vor
Das arXiv-Paper trennt Gedächtnis und Schlussfolgern, um Kompression und Inferenz effizienter zu machen.