Neue Benchmarks testen, ob LLM-Agenten Fähigkeiten weiterentwickeln können

Mehrere neue arXiv-Papers gehen der Frage nach, ob LLM-Agenten sich im Laufe der Zeit verbessern können, indem sie Fähigkeiten, Erinnerungen oder Erfahrungen ansammeln. ContinualSkillBench zeigt, dass sequenzielle Ausführung die Leistung in fünf Domänen im Allgemeinen verbessert. Die Zugewinne unterscheiden sich jedoch je nach Modell und Domäne, und In-Context Learning schneidet im Durchschnitt ähnlich gut ab wie die explizite Pflege von Skills. Verwandte Arbeiten untersuchen feldbewusstes Skill-Retrieval, Streaming-Evaluationen für sich selbst weiterentwickelnde Agenten, nachvollziehbares Turn Memory für agentisches Reinforcement Learning sowie LLM-gestützte Optimierung von Empfehlungssystemen.