Dharma-AI fait état d’une meilleure utilisation des GPU grâce à son allocateur
Un ordonnanceur tenant compte des contraintes a surpassé FIFO lors de benchmarks sur des clusters identiques.
Pourquoi c'est important
Ces résultats montrent que l’ordonnancement et l’orchestration des charges de travail constituent un levier important d’efficacité pour les infrastructures d’IA, au même titre que les améliorations des modèles ou du matériel. Pour les équipes qui exploitent des clusters GPU partagés, la politique d’allocation peut influer à la fois sur l’utilisation de la capacité et sur la production alignée sur les priorités métier.
Points clés
- 1.L’utilisation s’est améliorée dans six des sept scénarios de benchmark et est restée à égalité dans le dernier.
- 2.La production pondérée par priorité a augmenté dans les sept scénarios.
- 3.L’allocateur s’est exécuté en 1 à 15 millisecondes lors des tests rapportés.
Dharma-AI a publié les résultats de benchmarks pour un allocateur GPU tenant compte des contraintes, testé face à un ordonnanceur FIFO dans sept scénarios. À matériel et charges de travail identiques, l’allocateur a accru l’utilisation des GPU jusqu’à 33 points de pourcentage et augmenté la production pondérée par priorité dans tous les scénarios, avec des gains atteignant 105,1 %. Le système modélise la demande d’inférence en temps réel comme une courbe, répartit les tâches de type batch dans les creux disponibles, puis recalcule les allocations sur un horizon de 24 heures tout en ne validant que le pas de temps en cours.
⚡ À tester aujourd'hui
Passez en revue l’ordonnancement GPU fondé sur FIFO ou sur des réservations statiques, et testez une allocation sensible à la demande et fondée sur les priorités avec vos propres charges de travail.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Matériel & calcul
TerraPower vise les centres de données IA avec son réacteur nucléaire
Selon TechCrunch, TerraPower voit un avantage stratégique dans les contrats d’alimentation électrique des centres de données.
Relativity Networks lève 22 millions de dollars pour accélérer la fibre dans les data centers
L’entreprise développe une fibre à cœur creux pour les data centers, avec l’objectif de transmettre les données 30 % plus vite.
Des AirPods équipés d’une caméra d’Apple apparaissent dans une vidéo fuitée
Un extrait de macOS Tahoe 26.7 RC montre de supposés AirPods utilisant Visual Intelligence avec Siri.