AI/ML, HPC, 클라우드, 스토리지 및 5G/엣지를 위한 토탈 IT 솔루션의 글로벌 리더 슈퍼마이크로컴퓨터(Super Micro Computer, Inc.(SMCI), 이하 슈퍼마이크로)가 엔비디아 HGX B300 기반 4U 및 2-OU(OCP) 수냉식 솔루션을 출시하고, 출하를 시작했다고 밝혔다. 슈퍼마이크로의 엔비디아 블랙웰 아키텍처 제품군에 새롭게 추가된 두 제품은 슈퍼마이크로 데이터센터 빌딩 블록 솔루션(Data Center Building Block Solutions; 이하 DCBBS)의 핵심 구성으로, 하이퍼스케일 데이터센터와 AI 팩토리를 위한 높은 GPU 집적도와 에너지 효율성을 구현한다.

찰스 리앙(Charles Liang) 슈퍼마이크로 사장 겸 CEO는 "전 세계적으로 AI 인프라 수요가 빠르게 증가하고 있다. 이번에 선보인 엔비디아 HGX B300 기반 수냉식 솔루션은 하이퍼스케일 데이터센터와 AI 팩토리가 요구하는 성능 집적도와 에너지 효율성을 충족한다"며, "업계에서 가장 컴팩트한 엔비디아 HGX B300 탑재 솔루션이며, 단일 랙에서 최대 144개의 GPU를 지원한다. 또한, 슈퍼마이크로의 검증된 DLC 기술을 통해 에너지 소비량과 냉각 비용을 절감한다"고 말했다. 이어 그는 "슈퍼마이크로는 DCBBS를 통해 대규모 AI 인프라 구축을 지원하며, 준비 시간(time-to-market) 단축, 와트 당 최고 성능 구현, 설계부터 배포까지의 엔드투엔드 통합 제공이 그 핵심"이라고 설명했다.

슈퍼마이크로의 엔비디아 HGX B300 기반 수냉식 제품군

엔비디아 HGX B300 기반 2-OU(OCP) 수냉식 솔루션은 21인치 OCP 오픈 랙 V3(ORV3) 규격으로 설계됐다. 랙당 최대 144개의 GPU를 탑재하는 최고 수준의 GPU 집적도를 제공한다. 이를 통해 하이퍼스케일 및 클라우드 기업은 공간 효율성과 서비스성(serviceability)을 동시에 확보할 수 있다. 또한, 랙스케일 설계로 블라인드-메이트 매니폴드 커넥션, 모듈형 GPU/CPU 트레이 아키텍처, 최첨단 구성 요소(component) 수냉식 냉각 솔루션을 탑재했다.

해당 시스템은 8개의 엔비디아 블랙웰 울트라 GPU(개당 TPU: 최대 1,100W)를 통해 보다 작은 면적에서 적은 에너지로 AI 워크로드를 처리한다. 단일 ORV3 랙은 최대 18개의 노드와 총 144의 GPU를 지원하며, 엔비디아 퀀텀-X800 인피니밴드 스위치와 슈퍼마이크로 1.8MW 인로우(In-Row) CDU를 통해 원활하게 확장된다. 엔비디아 HGX B300 컴퓨트 랙 8개, 엔비디아 퀀텀-X800 인피니밴드 네트워킹 랙 3개, 슈퍼마이크로 인로우 CDU 2개로 구성된 슈퍼마이크로 슈퍼클러스터는 GPU를 유닛 당 총 1,152개까지 확장 가능하다.

또 다른 엔비디아 HGX B300 기반 신제품인 4U 전면 I/O 수냉식 솔루션은 기존의 대규모 AI 팩토리용 19인치 EIA 랙 폼팩터에 엔비디아 HGX 기반 2-OU (OCP) 솔루션과 동일한 연산 성능 및 냉각 효율을 제공한다. 해당 솔루션은 슈퍼마이크로의 DLC 기술을 기반으로 시스템 열을 최대 98%까지 수냉식으로 제거한다. 동시에 고집적 학습 및 추론 클러스터의 에너지 효율성 강화, 소음 저감, 서비스성 향상을 돕는다.

슈퍼마이크로의 엔비디아 HGX B300 솔루션은 시스템당 2.1TB의 HBM3e GPU 메모리를 탑재해 시스템 단에서 보다 큰 규모의 모델을 처리할 수 있으며, 이는 상당한 성능 향상으로 이어진다. 이에 더해, 두 솔루션을 엔비디아 퀀텀-X800 인피니밴드 또는 엔비디아 스펙트럼-4 이더넷과 함께 사용할 경우, 통합된 엔비디아 커넥트 X-8 슈퍼NICs를 통해 컴퓨트 패브릭 네트워크 처리량을 최대 800Gb/s까지 늘려 클러스터 단의 성능을 크게 향상시킨다. 그 결과, 에이전틱 AI애플리케이션, 기반 모델 학습, 멀티모달 대규모 추론 등 AI 팩토리의 다양한 고부하 AI 워크로드를 빠르게 처리할 수 있다.

새롭게 선보인 두 엔비디아 HGX B300 솔루션은 고객의 TCO 절감과 운영 효율성 향상을 위해 개발되었다. 슈퍼마이크로의 DLC-2 기술은 데이터센터의 에너지 사용량을 최대 40% 절감하고, 45°C 온수로 냉각해 보다 적은 양의 물을 사용한다. 이때, 기존의 냉각수와 압축기는 필요하지 않다. 또한 슈퍼마이크로 DCBBS는 랙 형태로L11 및 L12 솔루션 테스트를 거쳐 사전 검증된 상태로 출하된다. 이를 통해 하이퍼스케일, 엔터프라이즈, 정부기관의 데이터센터 가동 준비 시간을 크게 단축한다.

이번 제품 출시로 슈퍼마이크로의 엔비디아 블랙웰 기반 제품군은 한층 강화되었다. 기존 제품군에는 엔비디아 GB300 NVL72, 엔비디아 HGX B200, 엔비디아 RTX PRO 6000 블랙웰 서버 에디션 등을 지원하는 솔루션이 포함된다. 이 모든 솔루션은 다양한 AI 애플리케이션 및 사용 사례에서 최적의 성능을 테스트하고 엔비디아 인증을 획득했다. 이 과정은 각 솔루션에 엔비디아 AI 엔터프라이즈, 엔비디아 런에이아이(Run:ai) 등의 엔비디아 AI 소프트웨어 및 엔비디아 네트워킹을 적용한 상태에서 이뤄진다. 고객은 단일 노드부터 풀스택 AI 팩토리에 이르기까지 유연하게 확장 가능한 AI 인프라를 손쉽게 구축할 수 있다.