AI4AI-Bench teste les agents sur la conception d’algorithmes d’entraînement

Un nouvel article publié sur arXiv présente AI4AI-Bench, un benchmark destiné à tester si des agents LLM peuvent concevoir de meilleurs algorithmes d’entraînement, une capacité que les auteurs présentent comme centrale pour l’auto-amélioration récursive. Le benchmark couvre 10 dépôts de recherche figés répartis entre 10 familles d’algorithmes d’entraînement ; pour chaque tâche, un agent dispose de 4 heures sur un B300 pour réécrire l’algorithme d’entraînement, après quoi son code est relancé de zéro pendant jusqu’à 12 heures et noté par un évaluateur fixe et caché par rapport à l’algorithme d’origine. Une discussion sur Reddit relève que le dispositif emploie une définition plus étroite de l’auto-amélioration récursive, car le modèle sous-jacent et l’évaluateur restent fixes, au lieu que le modèle modifie ses propres poids.