研究者ら、言語モデルの潜在的推論を検証

複数の arXiv 論文が、言語モデルが思考の連鎖をすべて文章として書き出すのではなく、連続的な内部表現を用いる「潜在的推論」を調査している。ある研究では、潜在的思考を用いてモデルをゼロから訓練した場合にのみ重ね合わせの兆候が見られ、訓練なしの手法やファインチューニングによる手法では崩壊したり近道を見つけたりすることが示された。ほかの論文では、潜在空間でのマルチエージェント協調、潜在的思考に対する複数回答の信用割り当て、テスト時の潜在状態最適化を提案し、推論、STEM、常識、コードの各ベンチマークで改善を報告している。