Investigadores lanzan LittleLearner para estudiar los LLM en un entorno controlado
El modelo de 5.000 millones de parámetros se entrena con un corpus curricular de 88.000 millones de tokens de nivel quinto grado o inferior.
Por qué importa
El trabajo ofrece un entorno controlado para investigar si los comportamientos de los LLM provienen del conocimiento aprendido o de una elicitación posterior. Sus hallazgos sugieren que los límites de los datos de preentrenamiento pueden imponer un techo efectivo a las capacidades que el postentrenamiento por sí solo quizá no pueda superar.
Puntos clave
- 1.LITTLECURRICULUM contiene 88.000 millones de tokens de material de quinto grado o inferior.
- 2.LITTLELEARNER es un modelo de 5.000 millones de parámetros entrenado desde cero.
- 3.El postentrenamiento y el prompting mejoraron el uso del conocimiento existente, no las capacidades fuera del alcance original.
Investigadores presentaron LITTLECURRICULUM, un corpus de preentrenamiento de 88.000 millones de tokens adaptado a materiales de la escuela primaria en EE. UU. y que excluye conceptos, hechos y vocabulario por encima de quinto grado. Entrenaron desde cero un modelo de lenguaje de 5.000 millones de parámetros, LITTLELEARNER, con ese corpus, y publicaron ambos como un entorno de pruebas para estudiar la adquisición de conocimiento por parte de los modelos dentro de un alcance de entrenamiento definido. Los experimentos iniciales encontraron que el escalado, el ajuste posterior con SFT más GRPO y el aprendizaje en contexto ayudaron al modelo a usar conocimiento existente, pero no mejoraron de forma significativa sus capacidades fuera de ese alcance.
⚡ Pruébalo hoy
Usa LITTLECURRICULUM y LITTLELEARNER para probar métodos de inyección de conocimiento antes de asumir que el postentrenamiento puede añadir capacidades fuera del alcance original.
Fuentes y cobertura original
Este resumen sintetiza y enlaza la cobertura de los medios siguientes.
¿Te gustó este resumen? Recibe el próximo en tu correo.
Más en Investigación
Una startup afirma que los datos son clave para avanzar contra el cáncer con IA
TechCrunch informa que la startup sostiene que la IA no está cerca de curar el cáncer sin mejores datos.
HarnessRisk evalúa fallos de seguridad en arneses de agentes
El benchmark prueba ataques en distintas fases de los arneses de agentes, mientras trabajos relacionados estudian el aprovisionamiento específico por tarea.
Agent Lightning v1.0 apunta al RL agéntico con harness
El framework conecta harnesses de agentes arbitrarios con el post-entrenamiento mediante aprendizaje por refuerzo.