Pesquisadores miram recompensas esparsas em RL agentic
Novos artigos no arXiv propõem métodos de autodestilação para uma atribuição de crédito mais densa em agentes de LLM.
Por que importa
Os artigos refletem um movimento mais amplo de pesquisa para tornar o treinamento de agentes menos dependente de recompensas terminais esparsas. Uma melhor atribuição de crédito pode aprimorar agentes multi-turno para uso de ferramentas, programação, consultas a bancos de dados e outras tarefas em que os resultados são fáceis de verificar, mas as etapas individuais são difíceis de pontuar.
Pontos-chave
- 1.A autodestilação está sendo usada para acrescentar sinais de treinamento mais densos a agentes de LLM.
- 2.SERL-SQL mira agentes Text-to-SQL com atribuição de crédito baseada em execução.
- 3.Os métodos buscam preservar recompensas de verificadores enquanto localizam os sinais de aprendizagem.
Vários novos artigos no arXiv propõem abordagens de autodestilação para melhorar o aprendizado por reforço em agentes de LLM multi-turno, nos quais recompensas no nível da trajetória muitas vezes não conseguem identificar quais decisões intermediárias levaram ao sucesso ou ao fracasso. Os métodos incluem ADRS, que usa pontuação privilegiada de tokens e um gate Teacher Value Advantage; SERL-SQL, que aplica retrospectiva baseada em execução a agentes Text-to-SQL; GRSD, que deriva orientação de rollouts verificados; e PCSD, que pondera a destilação por sinais persistentes favoráveis ao professor. O SERL-SQL reporta 76,56% de acurácia de execução no BIRD-Dev e 89,92% no Spider-Test.
⚡ Experimente hoje
Leia os artigos sobre ADRS, SERL-SQL, GRSD e PCSD antes de projetar pipelines de RL para agentes multi-turno com recompensas esparsas.
Fontes e reportagens originais
Este resumo sintetiza e linka a cobertura dos veículos abaixo.
- arXiv cs.CLAgentic Reinforcement Learning with Self-Distilled Reward ShapingAug 5, 12:00 PM↗
- arXiv cs.LGAgentic Reinforcement Learning with Self-Distilled Reward ShapingAug 5, 12:00 PM↗
- arXiv cs.CLSERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic LearningAug 4, 12:00 PM↗
- arXiv cs.AIGroup-Reflective Self-Distillation for Agentic Reinforcement LearningAug 4, 12:00 PM↗
- arXiv cs.AIPCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement LearningAug 4, 12:00 PM↗
- arXiv cs.LGGroup-Reflective Self-Distillation for Agentic Reinforcement LearningAug 4, 12:00 PM↗
- arXiv cs.CLSERL-SQL: Selective Hindsight Distillation for Text-to-SQL Reinforcement Agentic LearningAug 4, 12:00 PM↗
- HF Daily PapersPCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement LearningAug 3, 4:00 AM↗
Gostou deste resumo? Receba o próximo no seu e-mail.
Mais em Pesquisa
Estudo da Anthropic mostra que agentes de IA podem entrar em conflito em tarefas compartilhadas
Pesquisadores dizem que o comportamento multiagente pode expor lacunas nos testes atuais de segurança em IA.
Pesquisadores propõem modelo de difusão para remover reflexos em vídeos
O S2R combina simulação física de reflexos com um modelo de difusão para remoção em vídeo e um benchmark.
Artigo defende que a segurança de agentes precisa de contratos em tempo de execução
O artigo no arXiv afirma que o alinhamento durante o treinamento é insuficiente para agentes autônomos.