研究者ら、LLMを制御下で研究するためのLittleLearnerを公開
50億パラメータのモデルは、小学5年生以下のカリキュラムに基づく880億トークンのコーパスで訓練された。
なぜ重要か
この研究は、LLMの振る舞いが学習済みの知識に由来するのか、それとも後段の引き出し方によるものなのかを調べるための、制御された環境を提供する。結果は、事前学習データの境界が能力に実質的な上限を設ける可能性があり、ポストトレーニングだけではそれを超えられない場合があることを示している。
要点
- 1.LITTLECURRICULUMは、小学5年生以下の教材からなる880億トークンを含む。
- 2.LITTLELEARNERは、ゼロから訓練された50億パラメータのモデルだ。
- 3.ポストトレーニングとプロンプティングは既存知識の活用を改善したが、範囲外の能力は高めなかった。
研究者らは、米国の小学校教材に合わせ、5年生を超える概念、事実、語彙を除外した880億トークンの事前学習コーパス「LITTLECURRICULUM」を発表した。このコーパスを使って、50億パラメータの言語モデル「LITTLELEARNER」をゼロから訓練し、定義された訓練範囲の中でモデルが知識を獲得する過程を研究するためのサンドボックスとして、両者を公開した。初期実験では、スケーリング、SFTとGRPOによるポストトレーニング、インコンテキスト学習はいずれも、モデルが既存知識を活用する助けにはなったものの、範囲外の能力を有意に高めることはなかった。
⚡ 今日から使える
ポストトレーニングで範囲外の能力を追加できると想定する前に、LITTLECURRICULUMとLITTLELEARNERを使って知識注入手法を検証すべきだ。
出典・一次報道
本記事は以下の媒体の報道を要約し、リンクしています。
この記事が役に立ちましたか？次号をメールでお届けします。
関連： 研究
スタートアップ、AIによるがん治療の進展にはデータが鍵と指摘
TechCrunchによると、このスタートアップは、より良いデータがなければAIはがん治療の実現に近づいていないと主張している。
HarnessRisk、エージェント・ハーネスの安全性障害をベンチマーク
このベンチマークは、エージェント・ハーネスの各フェーズにおける攻撃を検証する。一方、関連研究ではタスクごとのプロビジョニングが検討されている。
Agent Lightning v1.0、ハーネス型エージェントRLを照準に
このフレームワークは、任意のエージェント・ハーネスを強化学習によるポストトレーニングに接続する。