De nouveaux benchmarks testent si les agents LLM peuvent s’auto-améliorer

Plusieurs nouveaux articles publiés sur arXiv évaluent la capacité des agents LLM à progresser grâce à l’expérience accumulée, à des bibliothèques de compétences externes et à une exposition continue à des tâches. ContinualSkillBench présente un benchmark couvrant cinq domaines, avec 100 sous-tâches connectées par domaine, et constate que l’exécution séquentielle améliore souvent les performances, même si les gains varient selon les modèles et les domaines. Les travaux connexes indiquent aussi que la maintenance explicite des compétences n’est pas systématiquement meilleure que l’adaptation en contexte, tandis que la récupération de compétences sensible au domaine et les méthodes de mémoire sélective peuvent aider dans des cadres plus restreints.