SkillGate、長期タスクを担うエージェントのスキル選択に焦点

新たな論文「SkillGate」は、長期タスクを扱うエージェントフレームワークには、エピソード中にどの手続き型スキルファイルを読むべきかを判断するための訓練シグナルが欠けていると論じている。著者らは「selector credit starvation」と呼ぶ問題を指摘する。これは、結果報酬に基づく強化学習では、軌跡が長くなるほどスキル選択トークンに与えられるクレジットが少なくなり、しかも誤った方向に割り当てられやすくなるというものだ。SkillGateは、実行トークンに対する結果クレジットと、スキル名を指定するトークンに対する行動局所的なアドバンテージを分離することで、この問題に対処する。