Pesquisadores investigam o raciocínio latente em modelos de linguagem

Vários artigos no arXiv analisam o raciocínio latente, em que modelos de linguagem usam representações internas contínuas em vez de cadeias de pensamento totalmente escritas. Um estudo encontra sinais de superposição apenas quando os modelos são treinados do zero com pensamentos latentes, enquanto abordagens sem treinamento ou ajustadas por fine-tuning entram em colapso ou encontram atalhos. Outros trabalhos propõem colaboração multiagente no espaço latente, atribuição de crédito para múltiplas respostas em pensamentos latentes e otimização de estados latentes em tempo de teste, relatando ganhos em benchmarks de raciocínio, STEM, senso comum e código.