Neue Benchmarks testen, ob LLM-Agenten Fähigkeiten wiederverwenden können

Forschende haben ContinualSkillBench vorgestellt, ein dynamisches Evaluierungsframework für kontinuierliches In-Context-Lernen von Fähigkeiten in fünf Domänen mit jeweils 100 miteinander verknüpften Teilaufgaben. Der Benchmark zeigt, dass sequenzielle Ausführung die Leistung im Allgemeinen verbessert, die Zugewinne jedoch je nach Modell und Domäne variieren und In-Context-Lernen im Durchschnitt ähnlich gut abschneidet wie explizite Pflege von Fähigkeiten. Verwandte Arbeiten auf arXiv untersuchen Engpässe bei strukturiertem Skill-Retrieval, der Zuverlässigkeit von streamingbasierter Selbstentwicklung und nachvollziehbarem Gedächtnis für Reinforcement Learning von Agenten über lange Zeithorizonte.