Co-RL、ピア由来の報酬で推論モデルを訓練

研究者らは、協調型マルチエージェント強化学習を通じて、言語モデルと視覚言語モデルの推論能力を高めるフレームワーク「Co-RL」を発表した。この手法では、パラメータを共有しない複数の分離されたモデルを訓練し、正解アノテーションではなくピアモデルから得た報酬を用いる。著者らは、異なるモデルファミリーや規模、言い換えられたサンプルを含む、より多様なコホートを使うことで、自己強化的なフィードバックループを引き起こし得る相関エラーを減らせると主張している。