Dharma-AI, allocator로 GPU 사용률 개선 보고
제약 조건을 반영한 scheduler가 동일한 cluster benchmark에서 FIFO를 앞섰다.
왜 중요한가
이번 결과는 AI infrastructure efficiency를 높이는 실질적 수단이 model이나 hardware 개선만이 아니라 scheduling과 workload orchestration에도 있음을 보여준다. Shared GPU cluster를 운영하는 team에게 allocation policy는 capacity utilization과 business-priority output 모두에 영향을 줄 수 있다.
핵심 포인트
- 1.7개 benchmark scenario 중 6개에서 utilization이 개선됐고, 1개에서는 동률이었다.
- 2.Priority-weighted output은 7개 scenario 모두에서 증가했다.
- 3.보고된 test에서 allocator 실행 시간은 1~15ms였다.
Dharma-AI는 7가지 시나리오에서 FIFO scheduler와 비교해 제약 조건을 반영한 GPU allocator의 benchmark 결과를 발표했다. 동일한 hardware와 workload에서 이 allocator는 GPU utilization을 최대 33%포인트 높였고, 모든 시나리오에서 priority-weighted output을 증가시켰으며, 최대 개선폭은 105.1%였다. 이 system은 real-time inference demand를 curve로 보고, batch 성격의 작업을 가용한 저점 구간에 배치하며, 24시간 horizon에서 allocation을 반복 실행하되 현재 timestep만 확정한다.
⚡ 오늘 바로 활용
FIFO 또는 static-reservation 방식의 GPU scheduling을 점검하고, demand-aware, priority-based allocation을 자체 workload 기준으로 test하라.
출처 및 원본 보도
이 브리핑은 아래 매체의 보도를 요약하고 링크합니다.
이 브리핑이 유용했나요? 다음 소식을 메일로 받아보세요.
관련: 하드웨어
TerraPower, 원자로로 AI 데이터 센터 전력 시장 겨냥
TechCrunch는 TerraPower가 데이터 센터 전력 공급 계약에서 전략적 우위를 보고 있다고 보도했다.
Relativity Networks, 더 빠른 데이터센터 광섬유 위해 2,200만 달러 조달
이 회사는 데이터센터용 중공 코어 광섬유를 개발 중이며, 데이터 전송 속도를 30% 높이는 것을 목표로 하고 있다.
카메라 탑재 AirPods, 유출 영상에 등장한 듯
macOS Tahoe 26.7 RC 영상에는 소문으로 전해진 AirPods가 Siri와 함께 Visual Intelligence를 사용하는 모습이 담겼다.