Co-RL entraîne des modèles de raisonnement avec des récompenses issues de leurs pairs

Des chercheurs ont présenté Co-RL, un cadre destiné à améliorer le raisonnement dans les modèles de langage et les modèles vision-langage grâce à l’apprentissage par renforcement coopératif multi-agent. La méthode entraîne plusieurs modèles découplés, sans paramètres partagés, en utilisant des récompenses dérivées de modèles pairs plutôt que d’annotations de référence. Les auteurs estiment que des cohortes plus diverses, incluant différentes familles et tailles de modèles ainsi que des échantillons reformulés, réduisent les erreurs corrélées susceptibles de provoquer des boucles de rétroaction auto-renforcées.