Dharma-AI meldet höhere GPU-Auslastung mit Allocator
Ein constraint-bewusster Scheduler schlug FIFO in Benchmarks auf identischen Clustern.
Warum es wichtig ist
Die Ergebnisse deuten darauf hin, dass Scheduling und Workload-Orchestrierung ein wesentlicher Hebel für die Effizienz von KI-Infrastruktur sind, nicht nur Verbesserungen bei Modellen oder Hardware. Für Teams, die gemeinsam genutzte GPU-Cluster betreiben, kann die Zuweisungspolitik sowohl die Kapazitätsnutzung als auch den Output nach geschäftlicher Priorität beeinflussen.
Die Kernpunkte
- 1.Die Auslastung verbesserte sich in sechs von sieben Benchmark-Szenarien und blieb in einem gleich.
- 2.Der prioritätsgewichtete Output stieg in allen sieben Szenarien.
- 3.Der Allocator lief in den gemeldeten Tests in 1 bis 15 Millisekunden.
Dharma-AI hat Benchmark-Ergebnisse für einen constraint-bewussten GPU-Allocator veröffentlicht, der in sieben Szenarien gegen einen FIFO-Scheduler getestet wurde. Bei identischer Hardware und gleichen Workloads steigerte der Allocator die GPU-Auslastung um bis zu 33 Prozentpunkte und erhöhte den prioritätsgewichteten Output in jedem Szenario, mit Zuwächsen von bis zu 105,1 %. Das System behandelt den Echtzeitbedarf für Inferenz als Kurve, verteilt batchartige Jobs über verfügbare Täler hinweg und berechnet Zuweisungen über einen 24-Stunden-Horizont neu, während jeweils nur der aktuelle Zeitschritt festgeschrieben wird.
⚡ Heute ausprobieren
Prüfen Sie FIFO- oder statische Reservierungsverfahren beim GPU-Scheduling und testen Sie nachfragebewusste, prioritätsbasierte Zuweisung mit Ihren eigenen Workloads.
Quellen & Originalberichte
Dieser Brief fasst die Berichterstattung der folgenden Medien zusammen und verlinkt sie.
Hat dir dieses Briefing gefallen? Erhalte das nächste per Mail.
Mehr in Hardware & Compute
TerraPower nimmt KI-Rechenzentren mit Kernreaktor ins Visier
TechCrunch berichtet, dass TerraPower bei Stromdeals mit Rechenzentren einen strategischen Vorteil sieht.
Relativity Networks sammelt 22 Millionen Dollar für schnellere Glasfaser in Rechenzentren ein
Das Unternehmen entwickelt Hohlkernfaser für Rechenzentren und will Daten damit 30 % schneller übertragen.
Apples AirPods mit Kamera tauchen offenbar in geleaktem Video auf
Ein Clip aus dem macOS Tahoe 26.7 RC zeigt angeblich AirPods, die Visual Intelligence mit Siri nutzen.