Studie trainiert schnellere Pixel-Space-Diffusionsmodelle

Ein auf HF Daily Papers vorgestelltes Paper berichtet über eine empirische Studie zum Training von Pixel-Space-Text-zu-Bild-Diffusionsmodellen. Die Autoren stellen fest, dass direktes großskaliges Pre-Training im Pixelraum deutlich langsamer konvergiert als Training im latenten Raum. Anschließend schlagen sie eine Latent-to-Pixel-Strategie vor, bei der generative Priors zunächst im latenten Raum gelernt werden, bevor das Modell im Post-Training in den Pixelraum übergeht. Der Studie zufolge können die daraus entstehenden Pixel-Space-Modelle mit ihren Latent-Space-Gegenstücken mithalten oder sie übertreffen und zugleich 3,18- bis 4,75-fache End-to-End-Beschleunigungen bei der Inferenz liefern.