De nouveaux benchmarks évaluent si les agents LLM peuvent réutiliser des compétences

Des chercheurs ont présenté ContinualSkillBench, un cadre d’évaluation dynamique pour l’apprentissage continu de compétences en contexte, couvrant cinq domaines avec 100 sous-tâches interconnectées chacun. Le benchmark montre que l’exécution séquentielle améliore généralement les performances, mais que les gains varient selon le modèle et le domaine, et que l’apprentissage en contexte obtient en moyenne des résultats comparables à ceux d’une maintenance explicite des compétences. Des travaux connexes publiés sur arXiv étudient les goulets d’étranglement liés à la récupération structurée des compétences, à la fiabilité de l’auto-évolution en streaming et à la mémoire traçable pour l’apprentissage par renforcement d’agents sur de longs horizons.