Investigadores exploran el razonamiento latente en los modelos de lenguaje

Varios artículos en arXiv examinan el razonamiento latente, en el que los modelos de lenguaje usan representaciones internas continuas en lugar de cadenas de pensamiento escritas por completo. Un estudio encuentra indicios de superposición solo cuando los modelos se entrenan desde cero con pensamientos latentes, mientras que los enfoques sin entrenamiento y los ajustados mediante fine-tuning colapsan o encuentran atajos. Otros trabajos proponen colaboración multiagente en el espacio latente, asignación de crédito con múltiples respuestas para pensamientos latentes y optimización de estados latentes en tiempo de prueba, con mejoras reportadas en benchmarks de razonamiento, STEM, sentido común y código.