研究者ら、弱いモデル向けにAIが構築したハーネスを検証

新たな論文は、弱いモデルのパラメータを変更せずに、より強力な「ビルダー」モデルが推論時ハーネスを構築することで、テスト時に弱いモデルの性能を高められるかを検証している。4つのTheory-of-Mindベンチマークで、ビルダーはデータの5%を検証用として使いハーネスを改良したうえで、全テストセットで評価した。この手法により、対象モデルの平均性能は0.49から0.91へほぼ倍増し、主な向上要因は決定論的なコード、ベンチマーク別のルーティング、厳格な回答フォーマットにあるとされた。