전 세계가 ‘인공지능(AI)’ 기술 경쟁을 펼치는 현재 상황에서 국가와 기업이 확보한 그래픽처리장치(GPU) 인프라 규모는 조직과 국가의 AI 경쟁력을 측정하는 지표 중 하나로도 다뤄지고 있다. 특히 ‘챗GPT’ 이후 거대언어모델과 생성형 AI 모델들이 본격적으로 경쟁을 시작하면서 엔비디아의 ‘H100’으로 상징되는 고성능 GPU에 대한 관심과 수요도 폭발적으로 늘었다. 이제 주요 글로벌 ‘하이퍼스케일러’나 ‘빅테크’ 기업들이라 하면 수십만개의 GPU를 가진 게 ‘기본’이 된 모습이다.
이에 국내에서도 AI 업계가 GPU 인프라 공급 부족에 대해 이야기하고 있고, 국가 차원에서도 이에 대한 다양한 논의가 이뤄지고 있는 상황이다. 특히 최근 떠오른 ‘국내에 들어온 H100 GPU는 2000개 정도밖에 없다’는 주장은 전 세계가 함께 경쟁하는 상황에서 국내 업계의 경쟁력에 대한 우려로 이어지는 모습이다.
모든 AI 업계가 대규모의 H100 GPU 인프라를 자체적으로 갖추고 마음껏 활용할 수 있는 상황은 현실적으로 여러 가지 어려움이 있다. 일단 GPU와 이를 탑재할 수 있는 시스템의 ‘가격’이 문제고 이를 사용할 수 있는 ‘환경’도 문제다. 높은 전력 소비량과 발열을 보이는 GPU 서버의 수명과 고장률도 문제고, 전통적인 서버들보다 고가임에도 업그레이드 주기도 빠르다. 여러 모로 최신 GPU 서버를 사용하기에는 지불해야 할 비용이 매우 큰 상황이다.
AI를 위한 최신 고성능 GPU 서버 인프라라고 하면 가장 먼저 떠오르는 것이 엔비디아의 ‘H100’ 등 최신 세대의 데이터센터용 GPU일 것이다. 엔비디아의 ‘H100’ GPU는 기술적으로도 지금까지 우리가 흔히 보던 일반적인 GPU와는 제법 다르며 연산에 특화된 ‘가속기’로 분류하는 게 더 정확하다. 엔비디아는 기본 아키텍처 구성 요소를 공유하면서도 연산 집중형으로는 ‘H100’등 ‘호퍼’, 그래픽을 위해서는 ‘에이다 러브레이스(Ada Lovalace)’로 구분하고 있다.
연산에 특화된 ‘H100’은 사용도 제법 까다롭다. H100은 크게 SXM, PCIe 카드 형태의 두 가지 폼팩터로 제공되고 있다. 이 중 SXM 폼팩터의 H100은 최대 700W 전력 소비량과 함께 높은 성능을 갖췄지만, 엔비디아의 DGX, 혹은 HGX 인증 시스템과 함께 사용해야 한다. 즉, 기존 시스템의 확장이 아닌 전용 설계 시스템으로의 업그레이드가 필요하다는 것이다. 물론 PCIe 카드 형태의 NVL 모델도 카드당 350~400W의 소비전력을 감당할 수 있는 설계 최적화가 필요하다.
H100을 고려할 때 가장 먼저 직면하는 문제는 ‘가격’이다. H100은 GPU 가격만도 개당 4000만원 정도에 이르지만, 전용 시스템 설계가 필요한 만큼 제대로 쓰려면 시스템 형태로 도입해야 한다. 이 때 가장 인기있는 2개 CPU와 8개 GPU 탑재 시스템은 탑재된 칩 가격만도 3~4억원에 달하고 실제 도입 가격은 그 이상이다. 4개 GPU 탑재 시스템은 이보다 조금 덜 부담스럽겠지만 일반적인 서버나 워크스테이션과는 가격의 단위가 달라진다.
이렇게 큰 비용을 투자한 최신 GPU 서버가 경쟁력을 유지할 수 있는 기간도 상대적으로 짧다. 현재 업계에서는 전통적인 서버의 교체 주기를 5년 정도로 추산하지만 GPU 서버의 경우는 이보다 더 짧은 3년 정도로 본다. 여기에는 높은 전력소비량과 발열로 인한 고장률과 함께, 빠른 기술 변화에 따른 GPU의 경쟁력 문제 등이 모두 관련돼 있다.
조셉 양(Joseph Yang) HPE APAC & 인도 HPC & AI 부문 총괄은 지난 9월 IT조선과의 인터뷰에서 “예를 들면 엔비디아의 차세대 GPU 기반 시스템은 현재 세대 대비 소비 전력이 두 배 늘어나지만 성능은 30배까지 오른다. 현재 AI를 위한 GPU인프라의 경우 발전 속도가 빠르며, 좀 더 빠른 교체가 필요하다”고 말했다. 이에 한 번 구입한 GPU 서버를 경쟁력이 유지되는 동안 최대한 집약적으로 활용해 투자를 회수할 계획이 필요하다.
해결해야 할 문제는 ‘비용’ 뿐만이 아니다. 도입해서 설치, 운영할 ‘환경’ 또한 준비돼 있어야 한다. 가장 큰 문제는 전력 공급과 냉각이다. 가장 잘 알려진 2개 CPU와 8개 H100 GPU 탑재 시스템의 최대 소비 전력은 1만W에 이른다. 일반적인 가정집의 최대 인입 전력량이 8000W 정도임을 생각하면 GPU서버 한 대는 일반적인 가정집 2채의 사용 전력량을 넘어설 정도다. 전원 연결도 여러 개의 파워 서플라이를 사용함은 물론, 차단기 연결과 전력 배선의 용량까지 확인해야 할 정도다.
서버가 ‘랙’ 환경에 집적되면 문제는 더 어려워진다. 일반적인 데이터센터에서 랙당 전력 인입량은 1만~1만5000W 수준 정도로 알려졌다. 이 정도면 랙 하나에 GPU 서버 한 대 정도만 간신히 쓸 수 있다. 상면 공간의 가치를 생각하면 제법 큰 댓가다. 심지어 엔비디아의 최신 ‘GB200’ 기반 ‘NVL72’의 랙당 전력소비량은 일반적인 서버 랙의 수 배에 이르는 12만W에 이른다. 이런 시스템을 사용하기 위해서는 랙당 전력공급량은 물론 데이터센터 전체의 전력공급량도 대규모 확충이 필요하다. 때로는 이것이 데이터센터 내부에서 해결되지 않는 경우도 있다.
냉각 환경 또한 문제다. 최대 1만W의 전력을 사용하는 GPU서버는 냉각이 제대로 되지 않으면 성능과 안정성에 문제가 생긴다. 공랭식 환경이라면 공조 시설에 들어가는 전력량이 서버의 소비전력 못지 않은 수준이다. 수랭식 환경이라면 전력 소비량에서는 조금 여유가 생기겠지만 건물 시설에 대한 고려가 필요하다. 모든 시나리오에서 기존의 시설에 전력량과 냉각 상황 등에 대한 재검토와 보완이 필요한데, 보완이 여의치 않으면 사용할 수 없는 상황에 이를 수 있다.
지난 10월 IT조선이 찾은 엠키스코어의 데모 센터 구축 과정에서도 이런 점들을 확인할 수 있다. 데모 센터는 랙 몇 개 정도의 규모지만 랙당 12만W 전력을 소비하는 ‘NVL72’까지 지원 가능하게 했다. 정기수 엠키스코어 대표는 이에 대해 “높은 전력 공급량을 감당하기 위해 별도의 공사를 했다. 이 데모센터는 근방에서 공장 이상으로 전력을 많이 소비하는 시설이기도 하다”고 설명한 바 있다. 또 다른 업계 관계자는 “수십~수백 대 단위 GPU 서버를 구입하려는 고객들이 설치, 운영할 환경을 확보하지 못해 결국 구입하지 못하는 경우도 제법 있다”고 말했다.
글로벌 빅테크 기업들이 한 번에 수십만 개의 최신 GPU를 도입한 데이터센터를 구축하는 것과 비교해 국내의 도입 규모가 상대적으로 작아 보이는 이유에는 이러한 현실적인 ‘환경’ 문제도 상당한 영향을 미친 것으로 업계는 분석하고 있다. 일단 ‘H100’ GPU 서버는 일반적인 사무실의 ‘서버 룸’ 등에 쓰기에는 아주 어려운 존재다. 상당수의 데이터센터에서도 고성능 GPU 서버를 운영하기 힘들며, 대규모 GPU 서버 구성을 지원할 수 있는 요건을 갖춘 데이터센터도 많지 않은 상황이다.
최신 고성능 GPU 인프라를 활용하는 데 필요한 이러한 어려움들을 고려하면, 꼭 기업 내부적으로 대규모의 고성능 인프라를 갖추는 것만 고집할 필요는 없다. 오히려 검증된 클라우드 서비스를 활용하는 것이 비용이 다소 비싸게 보이더라도 구입과 운영의 비용 뿐만 아니라 운영 환경 확보, 향후 업그레이드에 대한 투자 여정 등의 어려움들을 모두 ‘비용’으로 극복할 수 있는 옵션이 될 수 있다.
소프트웨어정책연구소의 ‘2023 인공지능산업 실태조사’에서도 이러한 부분을 확인할 수 있다. 이미 38.5%는 ‘클라우드’를 사용하고 있고, 많은 AI 기업들이 클라우드와 자체 GPU를 함께 활용하는 ‘하이브리드’ 구성도 40%에 이른다. 하이브리드 구성에서 클라우드의 활용 비율도 45%에 이르는 것으로 조사됐다. 향후 인공지능 연산 인프라의 활용 비율도 클라우드 기반 시스템이 59.6%에 이를 것으로 전망된다.
한 업계 관계자는 “향후 국내의 AI 업계를 위한 인프라 지원에도 이러한 점들을 고려해햐 한다”며 “국내에서 기업들이 소유한 특정 GPU의 수가 국내 기업들의 경쟁력을 결정하는 것만은 아니다”라고 말했다.
권용만 기자
yongman.kwon@chosunbiz.com
댓글0