델 파워엣지 XE9680 GPU서버는 딥러닝과 생성형 인공지능(AI), 거대언어모델(LLM)을 빠르게 훈련, 추론하는 데 있어 가장 매력적이라 평가되는 조합인 ‘2개 중앙처리장치(CPU), 8개 그래픽처리장치(GPU)’ 구성을 사용한다. 최신 고성능 CPU 2개와 GPU 8개가 조합된 시스템은 예전에는 서버 몇 대를 클러스터 구성해 분산 처리해야 했던 규모의 작업을 한 대의 시스템에서 편리하게 다룰 수 있게 한다. 이를 통해 인프라의 ‘스케일 업’과 ‘스케일 아웃’ 간 고민에서 최적의 균형을 제공하는 지점에 있다.
델은 파워엣지 XE9680에서 현존 최고 수준의 성능을 가진 CPU와 GPU를 성능 타협 없이 사용할 수 있게 지원한다. 먼저, CPU 지원에서는 인텔의 4세대 제온 스케일러블 프로세서의 듀얼 소켓 구성을 제공한다. 각 소켓당 사용 가능한 열설계전력(TDP)은 350W로, 최대 56코어를 탑재한 최고 성능의 프로세서까지 사용할 수 있다. 메모리 지원 또한 DDR5 메모리 소켓 32개를 갖춰, 프로세서당 8채널 구성과 최대 4테라바이트(TB) 용량을 제공한다.
제품에 탑재된 인텔의 4세대 제온 스케일러블 프로세서는 이전 세대 대비 기능과 성능 모두에서 큰 성능 향상을 이뤄냈다. 특히 뛰어난 코어당 성능과 함께, 프로세서 당 코어 수도 최대 56코어까지로 늘어났다. 명령어 지원에서도 기존의 AVX-512 뿐만 아니라, AI 워크로드에 효과적인 행렬 연산 과정을 가속하는 AMX(Advanced Matrix Extensions) 명령어도 탑재됐다. 이러한 새로운 명령어들을 최적화된 소프트웨어 라이브러리와 함께 활용하면, 기존 대비 수 배에서 수십 배까지의 성능 향상도 가능하다.
델 파워엣지 XE9680에 탑재된 GPU 중 가장 대표적인 모델은 엔비디아의 ‘H100’으로, XE9680에서는 SXM5 폼팩터의 H100 GPU 8개와 NV링크 스위치를 하나의 보드 모듈에 올려 구성했다. 이러한 구성은 H100 플랫폼의 레퍼런스 구성 중 하나로, 엔비디아의 DGX나 파트너들의 HGX 시스템에도 사용된다. GPU당 최대 열설계전력은 700W이며, 각 GPU간에는 최대 초당 900GB를 전송 가능한 NV링크(NVLink) 연결을 사용해 빠르게 데이터를 교환하고, 메모리 공간을 공유할 수 있다.
엔비디아의 H100 GPU는 ‘호퍼(Hopper)’ 아키텍처를 기반으로 한다. 총 1만6896개의 FP32 쿠다(CUDA) 코어와 528개의 4세대 텐서 코어(Tensor Core)를 갖춰 뛰어난 연산 성능을 제공한다. 특히 H100의 4세대 텐서 코어는 이전 세대인 A100 대비 유닛당 두 배의 행렬곱 성능을 제공하며, GPU 수준에서는 성능 차이가 최대 6배까지 벌어진다. 이 외에도 FP64, FP32 성능에서는 A100 대비 3배까지 성능이 높고, 새로운 DPX 명령어나 비순차적 실행, 텐서 메모리 가속기, 분산된 공유 메모리 등의 특징을 제공한다.
H100 GPU에 탑재된 80GB의 HBM3 메모리는 3.35TB/s 대역폭을 갖춰, 최신 대형 LLM 모델에서 높은 가치를 제공한다. 이는 이전 세대인 A100과 비교하면 대역폭은 두 배 이상 높아진 것이다. 또한 NV링크를 통해 연결된 GPU간 메모리 공간을 공유할 수 있는 특징은 연결된 GPU가 많을 수록 더 큰 용량의 모델을 다룰 수 있어 그 가치가 더 높아진다. 한편, H100의 8GPU 구성에서는 NV링크를 위한 스위치 구성이 필요하며, 드라이버와 소프트웨어 설치시에도 NV링크 스위치 구성 여부에 따라 설치할 패키지가 달라진다.
델 파워엣지 XE9680의 공식 지원 운영체제는 레드햇의 ‘레드햇 엔터프라이즈 리눅스(RHEL: Red Hat Enterprise Linux)’와 캐노니컬의 ‘우분투 서버 LTS(Ubuntu Server LTS)’다. 그리고 공식 지원 운영체제를 설치할 때 델의 ‘라이프사이클 컨트롤러(Lifecycle Controller)’는 운영체제 설치 과정에 필요한 기본 설정들을 자동화해 더 빠르고 편리한 초기 설치 경험을 제공한다. 이와 함께, 인텔과 엔비디아가 제공하는 최적화된 소프트웨어 스택들은 XE9680의 성능 잠재력을 극대화할 수 있게 돕는다.
테스트에 사용한 델 파워엣지 XE9680은 인텔 제온 플래티넘 8462Y+ 프로세서 두 개와 소켓당 64GB DDR5 메모리의 8채널 구성으로 총 1TB 메모리를 사용했으며, GPU는 엔비디아 H100 8개를 탑재했다. CPU 설정은 TDP 300W, 32코어 2.8GHz 설정을 사용했으며, 시스템의 전력 관리 모드는 HPC 최적화된 퍼포먼스 모드를 사용했다. 운영체제는 우분투 서버 22.04 LTS에 HWE(Hardware Enablement) 패키지로 커널 6.5 버전대를 적용했고, GPU 드라이버와 라이브러리는 엔비디아의 535버전대 서버 드라이버 패키지를 사용했다.
테스트 및 사진 촬영에 사용된 장비는 ‘제스프로’에서 제공했다. 데이터센터 인프라 솔루션 전문기업인 제스프로는 델 테크놀로지스의 티타늄(Titanium) 등급 파트너로서 기술력과 고객 지원 능력을 인정받고 있다. 특히 제스프로는 전 직원의 75%가 엔지니어로 구성된 전문가 집단으로 GRC 액침냉각, 버티브(Vertiv), 엔비디아 등 다양한 글로벌 기업과 파트너 계약을 맺고 있다. 최근에는 AI 관련 비즈니스 기회에 집중하면서 델의 파워엣지 서버 사업에도 박차를 가하고 있다.
한편, 이번 테스트는 델의 국내 총판사인 다올TS의 서울 역삼동 본사 14층에 마련된 ‘델 익스피리언스 센터(Dell Experience Center)’에 장비를 설치하고 진행했다. 다올TS의 ‘델 익스피리언스 센터’는 고객이나 파트너사 임직원 누구나 델의 서버 및 스토리지에서부터 노트북, 데스크톱 제품에 이르기까지 델의 다양한 제품을 직접 체험할 수 있는 기회를 제공하는 공간으로 구성됐다.
특히, 파워엣지 XE9680 등 GPU 8개가 장착된 서버의 경우 설치 장소의 전력 공급과 냉방 능력이 서버의 정상적인 운영에 중요한 부분이다. 테스트한 XE9680 시스템은 GPU를 적극적으로 사용하는 테스트 상황에서 최대 1만와트(W)에 가까운 소비전력을 보였는데, 이 정도면 가정이나 일반 사무실에서는 사용할 수 없고 충분한 배전 설비가 갖춰진 데이터센터나 이에 준하는 시설이 필요하다. 다올TS의 델 익스피리언스 센터는 이러한 부분에 있어서도 대응할 수 있는 준비를 갖추고 있다.
‘MLPerf 트레이닝 v3.1’ 테스트에서 파워엣지 XE9680은 테스트 결과를 공식 발표한 동급 시스템들 중에서도 돋보이는 성능을 제공하며, H100 GPU 4개를 장착한 시스템과 비교해서도 분명한 성능 우위를 보인다. 특히 같은 H100 GPU 8개를 장착한 시스템이라도, SXM5 폼팩터와 PCIe 폼팩터 기반 제품간 성능 차이도 크게 나타나는 모습이다.
이전에 테스트한 H100 GPU 4개를 탑재한 파워엣지 XE8640의 테스트 결과와 비교했을 때, XE9680의 결과는 여러 모로 흥미로운 부분을 발견할 수 있다. 두 시스템 모두 같은 제온 플래티넘 8462Y+ 프로세서와 충분한 용량의 메모리를 갖춰 GPU 구성 차이에 따른 성능을 알아보기 좋은 결과다.
먼저, 언어모델 ‘BERT-large’ 시나리오 테스트의 결과 중 ‘초당 처리량’에서는 두 시스템 간 성능 차이는 33% 정도로, GPU 수 차이가 성능 차이로 직결되지는 않는 모습이다. 하지만 실제 훈련 테스트를 진행한 ‘시간’에서는 다른 양상인데, 8개 GPU를 탑재한 XE9680이 4개 GPU를 탑재한 XE8640보다 절반 정도의 시간에 테스트 과정을 끝냈다. 두 시스템 간 GPU 이외의 부분이 비슷하다는 것을 생각하면, 어떤 결과를 보느냐에 따라 두 배 더 많은 GPU가 성능을 얼마나 높였는지에 대한 해석이 달라질 수 있겠다.
이미지 인식 모델 ‘R-CNN’이나 음성인식 모델 ‘RNN-T’에서는 GPU 수에 따른 성능 영향이 더욱 직접적으로 나타나는 모습이다. ‘R-CNN’에서 XE9680은 XE8640대비 초당 처리량에서는 1.97배를 보였고, 전체 수행 시간은 48% 빨리 끝냈다. 또한 ‘RNN-T’에서는 XE9680이 XE8640보다 2.1배 높은 처리량을 보였다.
이러한 결과는 GPU 수가 두 배 늘어났을 때 이론적으로 기대할 수 있는 이상적인 성능 향상치에도 가깝다. 즉, XE9680의 전반적인 시스템 설계가 총 8개 GPU의 성능을 모두 끌어낼 수 있도록 잘 구성됐다는 것으로도 해석할 수 있겠다. 특히 GPU간 NV링크 구성은 물론, GPU와 CPU간 PCIe 연결이나 메모리, 스토리지와의 연결까지 모두 병목 현상 없이 성능을 극대화할 수 있게 구성됐다는 점이 인상적이다.
델 파워엣지 XE9680은 고성능 GPU를 8개 탑재한 ‘GPU 서버’라는 점이 중요한 특징이지만, 고성능 GPU가 제 몫을 하기 위해서는 고성능 프로세서와 대용량 메모리가 이를 뒷받침할 수 있어야 한다. 특히 훈련을 위한 데이터 준비나 결과 정리에는 CPU 성능이 중요하고, 모델에 따라서는 CPU 성능에 따라 GPU 활용률과 전체 성능에 영향이 나타나기도 한다. 이에 GPU 서버에서도 CPU 부의 성능은 ‘기본기’로써 갖춰야 할 필수 요소다.
파워엣지 XE9680은 전통적인 CPU 중심 서버의 관점에서도 충실한 기본기를 갖춘 점을 확인할 수 있다. 먼저, 인텔의 oneMKL(oneAPI Math Kernel Library) 2024에서 제공되는 ‘린팩(Linpack)’ 테스트에서는 테스트 사이즈 4만5000 정도에서 4.26테라플롭스(TFlops) 정도의 성능을 기록했다. 테스트 시스템의 동작 조건을 고려하면 기대치에 충분히 부합하는 성능이다.
또한 Phoronix 테스트 스위트의 시나리오 기반으로 구동한 HPCG(High Performance Conjugate Gradient) 테스트에서도, 테스트한 파워엣지 XE9680에 탑재된 제온 플래티넘 8462Y+는 충분히 높은 성능을 기록했다. 특히 프로세서 당 32코어로 총 64코어 구성이지만, 프로세서당 96코어를 갖춘 AMD 에픽 9654 프로세서를 듀얼 구성한 192코어의 성능도 넘어서는 부분이 인상적이다. 이와 함께 CPU 부의 최대 부하 상황으로는 시스템 전반의 전력 소비나 냉각 측면에서 문제될 부분이 전혀 나타나지 않았다.
AI로 인한 변화는 더 이상 미래의 일이 아닌 당장의 ‘현실’이 됐고, 조직의 경쟁 우위를 넘어 생존을 도모하기 위해서는 누구보다 빨리 결과를 내야 하는 ‘속도’의 문제가 됐다. 결국 현재 AI 시대의 빠른 변화 속 경쟁 상황에서 무엇보다 중요한 것은 ‘시간’으로, GPU 서버는 조직의 변화와 혁신을 준비하는 데 필요한 시간을 줄이는 것이 가장 중요한 가치다. 이를 위해서는 시스템의 도입과 운영, 확장에 이르기까지 모든 부분을 더 간결하고 단순하게 만드는 것이 중요하다.
델 파워엣지 XE9680은 시스템 구성과 경제성의 균형에 있어 지금까지의 ‘CPU 서버’ 시대와는 다른 관점을 선보인다. 예전에는 1U나 2U급의 서버를 클러스터로 묶어 스케일아웃 구성하는 것이 ‘균형점’이었지만, 현재의 GPU 서버 시대에는 한 대의 서버에 GPU 8대를 탑재한 GPU 집약적 구성이 효율적인 것으로 평가받는다. 이는 고속 연결 기술이 거리가 멀어질 수록 복잡성과 비용 문제가 커지기 때문일 것이다. 이에 현재의 ‘2개 CPU, 8개 GPU’ 서버는 ‘비싸지만 효율적인’ 역설적인 상황을 만들어 낸 모습이다.
파워엣지 XE9680은 이러한 까다로운 GPU 서버 시대에 필요한 모든 것을 갖춘 ‘최적 균형점’을 제시하는 점이 인상적이다. 고성능의 CPU와 GPU를 탑재하고 제 성능을 온전히 낼 수 있는 설계를 갖췄으며, 공랭식 냉각을 사용해 별도의 특별한 준비 없이 기존의 IT 운영 환경에서도 무리없이 사용할 수 있다. 그리고 고성능 GPU 8개를 탑재해 단일 노드에서도 슈퍼컴퓨터급 성능을 제공하고, 스케일아웃 확장을 고려할 때도 복잡성을 낮추고 효율을 최적화할 수 있다. 쉽고 빠른 도입을 위한 기술 지원 또한 충실히 갖춰져 있다.
물론 델 파워엣지 XE9680의 도입에는 제법 큰 결심이 필요할 것이다. 일단 잘 알려진 대로 고가의 GPU를 탑재하는 데서 오는 ‘가격’ 문제나 공급까지의 수급 기간 문제, 좀 더 현실적으로는 설치할 곳에 충분한 전력 공급이 가능한지도 확인해야 한다. GPU 서버를 제대로 사용하려면 사용자 또한 훈련이 필요하다. 하지만 이런 모든 점을 고려해도 파워엣지 XE9680은 머신러닝이나 딥러닝, 생성형 AI, HPC 등을 위한 고성능 GPU 서버를 도입하고자 고민할 때 가장 신뢰할 수 있는 가장 효율적이고 검증된 선택이 될 것이 분명하다.
권용만 기자 yongman.kwon@chosunbiz.com
댓글0