研究者ら、オンポリシー蒸留を標準的な教師モデルの枠外へ拡張

複数の新しいarXiv論文が、学生モデルが自ら生成した状態やサンプルで訓練されるオンポリシー蒸留（OPD）の中核的な前提を緩和する手法を提案している。Any-OPDは、異なるモデルファミリーの潜在フローマッチング生成モデルを対象に、独立にデコードした出力を凍結済みの視覚表現上で比較する。FutureBridge-OPDは、教師からのガイダンスが後続のエージェント軌道に与える影響を検証することで、その有効性を確かめる。ほかの論文では、より弱いモデルのペアから強い学生モデルを蒸留する方法や、視覚言語教師モデルの修正を小型の学生モデルが局所的に表現できる範囲へ射影する方法が提案されている。