De nouveaux articles ciblent les limites de l’exploration des LLM

Plusieurs articles publiés sur arXiv décrivent de nouvelles méthodes pour améliorer l’exploration dans les grands modèles de langage. DORA Explorer est un algorithme sans entraînement, utilisé au moment de l’inférence, qui génère plusieurs actions candidates, les évalue à l’aide de statistiques de log-probabilité au niveau de la séquence, puis échantillonne avec un paramètre d’exploration ajustable. 3PO explore l’espace des paramètres pour le RLVR en échantillonnant différentes politiques à partir d’une distribution a posteriori, tandis que RISE-RL s’appuie sur des critères de grille d’évaluation manqués à plusieurs reprises pour guider une exploration sélective dans le RL ouvert.