研究者ら、エージェントにおけるオンポリシー蒸留の失敗に照準

最近のarXiv論文群は、ツール統合型およびマルチターンの言語モデルエージェントを、オンポリシー蒸留と強化学習で訓練する新たな手法を提案している。手法にはTurnSight、SOD、ATOD、PG-OPD、RSTGが含まれ、疎な報酬、連鎖的なツール呼び出しエラー、教師・生徒間の乖離、非効率な長いロールアウト、ゼロ分散報酬グループで失われる勾配といった信頼性の問題に取り組む。各論文は、長期的推論、数学、科学、コード、対話型エージェントタスクでの実験を報告しているが、提示された要旨からは、すべての手法を横断して単一のベンチマークリーダーが確立されたとはいえない。