AI/ML, 클라우드, 스토리지 및 5G/엣지를 위한 토탈 IT 솔루션의 글로벌 리더 슈퍼마이크로컴퓨터(Super Micro Computer, Inc.(SMCI), 이하 슈퍼마이크로)가 NVIDIA HGX™ B200 8-GPU를 사용해 여러 MLPerf Inference v5.0 벤치마크에서 최초로 업계 최고의 성능을 달성했다고 발표했다. 4U 수랭식 및 10U 공랭식 시스템은 일부 벤치마크에서 최고의 성능을 달성했다. 슈퍼마이크로는 H200 8-GPU 시스템에 비해 Llama2-70B 및 Llama3.1-405B 벤치마크에서 초당 토큰(Token/s) 생성량이 3배 이상 증가한 것으로 나타났다.

찰스 량(Charles Liang) 슈퍼마이크로 사장 겸 최고경영자(CEO)는 "2025년 MLCommons가 발표한 최초의 새로운 벤치마크에서 알 수 있듯이 슈퍼마이크로는 AI 업계의 선두 주자로 자리매김하고 있다"며 "우리의 빌딩 블록 아키텍처를 통해 다양한 워크로드에 최적화된 다양한 시스템을 가장 먼저 시장에 출시할 수 있었다. 앞으로도 엔비디아(NVIDIA)와 긴밀히 협력하여 시스템을 정밀 조정하고 AI 워크로드에서 선도적인 위치를 확보할 것"이라고 말했다.

데이비드 칸터(David Kanter) MLCommons의 MLPerf 책임자는 "MLCommons는 슈퍼마이크로가 MLPerf Inference v5.0 벤치마크에 응해준 것에 감사하며, 이전 세대 시스템과 비교할 때 상당한 성능 향상을 보여주는 결과를 확인하게 되어 매우 기쁘다"라고 말했다. 그는 "이번 성능 개선은 중립적이고 대표성이 있으며 재현 가능한 MLPerf 결과를 통해 검증되었으며, 고객들도 이를 만족스럽게 받아들일 것"이라고 덧붙였다.

슈퍼마이크로는 100개 이상의 GPU 최적화 시스템을 포함한 종합적인 AI 포트폴리오를 제공하며, 공랭식 및 액체 냉각식 옵션과 단일 소켓 최적화 시스템부터 8웨이 멀티프로세서 시스템까지 다양한 CPU 구성을 선택할 수 있다. 슈퍼마이크로 랙 스케일 시스템에는 컴퓨팅, 스토리지, 네트워크 구성 요소를 포함하고 있어 고객이 제품을 수령한 후 설치 시간을 단축할 수 있도록 설계됐다.

슈퍼마이크로의 NVIDIA HGX B200 8-GPU 시스템은 차세대 수랭식과 공랭식 기술을 활용한다. 새로 개발된 냉각판과 새로운 250kW 냉각수 분배 장치(CDU)는 동일한 4U 폼 팩터에서 이전 세대보다 냉각 용량을 두 배 이상 높였다. 이 시스템은 42U, 48U 또는 52U 구성으로 제공되며, 새로운 수직 냉각수 분배 매니폴드(CDM)를 적용한 랙 스케일 설계를 통해 추가적인 랙 유닛 점유 없이 배치가 가능하다. 이를 통해 42U 랙에 64개의 NVIDIA Blackwell GPU로 구성된 8개의 시스템과 52U 랙에 96개의 NVIDIA Blackwell GPU로 구성된 최대 12개의 시스템을 구축할 수 있다.