Forscher veröffentlichen LittleLearner für kontrollierte LLM-Studien
Das Modell mit 5 Milliarden Parametern wird auf einem Curriculum-Korpus mit 88 Milliarden Tokens trainiert, der Stoff bis einschließlich fünfter Klasse umfasst.
Warum es wichtig ist
Die Arbeit bietet einen kontrollierten Rahmen, um zu untersuchen, ob LLM-Verhalten aus gelerntem Wissen oder aus späterer Aktivierung entsteht. Die Ergebnisse deuten darauf hin, dass Grenzen in den Pretraining-Daten eine wirksame Obergrenze für Fähigkeiten setzen können, die durch Post-Training allein womöglich nicht überwunden wird.
Die Kernpunkte
- 1.LITTLECURRICULUM enthält 88 Milliarden Tokens an Material bis einschließlich fünfter Klasse.
- 2.LITTLELEARNER ist ein von Grund auf trainiertes Modell mit 5 Milliarden Parametern.
- 3.Post-Training und Prompting verbesserten die Nutzung vorhandenen Wissens, nicht aber Fähigkeiten außerhalb des Trainingsumfangs.
Forscher haben LITTLECURRICULUM vorgestellt, einen Pretraining-Korpus mit 88 Milliarden Tokens, der auf Unterrichtsmaterial der US-Grundschule zugeschnitten ist und Konzepte, Fakten sowie Vokabular oberhalb der fünften Klasse ausschließt. Darauf trainierten sie LITTLELEARNER, ein Sprachmodell mit 5 Milliarden Parametern, von Grund auf und veröffentlichten beides als Sandbox, um den Wissenserwerb von Modellen unter klar definiertem Trainingsumfang zu untersuchen. Erste Experimente ergaben, dass Skalierung, SFT plus GRPO-Post-Training und In-Context Learning dem Modell halfen, vorhandenes Wissen zu nutzen, aber Fähigkeiten außerhalb des Trainingsumfangs nicht nennenswert verbesserten.
⚡ Heute ausprobieren
Nutzen Sie LITTLECURRICULUM und LITTLELEARNER, um Methoden zur Wissenseinspeisung zu testen, bevor Sie davon ausgehen, dass Post-Training Fähigkeiten außerhalb des Trainingsumfangs hinzufügen kann.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Forschung
InternLM schlägt Mobius-Modellarchitektur vor
Das arXiv-Paper trennt Gedächtnis und Schlussfolgern, um Kompression und Inferenz effizienter zu machen.
Forschende nehmen Engpässe bei der visuellen Dokumentensuche ins Visier
VISOR und ConceptFormer schlagen neue Methoden für multimodale Suche in visuell reichhaltigen Dokumenten vor.
R^3-Bench testet LLM-Schlussfolgern unter gemeinsamen Budgets
Der Benchmark bewertet sechs Modelle über Aufgabensuiten hinweg bei begrenzter Rechenzeit.