인공지능(AI)은 이제 정보통신(IT) 뿐만 아니라 사회 전반, 그리고 전 세계적인 핵심 혁신 트렌드로 꼽히는 주제가 됐다. 이에 전 세계적으로 많은 국가, 기업들이 AI 시대 기술 주도권을 잡기 위해 치열한 경쟁과 함께 과감한 투자에 나서고 있다. 최근 몇 년간 점점 예민해지고 있는 미국과 중국간의 무역 분쟁도 이제는 그 핵심 영역에 ‘AI’가 자리잡고 있을 정도다.
특히 AI 기술을 위한 ‘인프라’ 측면에서는 미국의 오픈AI나 마이크로소프트, 메타는 물론 일론 머스크의 xAI까지 많게는 수십만 개의 최신 그래픽처리장치(GPU)를 투입한 거대 인프라를 구축, 운영하고 있는 것으로 알려졌다. 기존에 IT 시대에서는 다소 뒤떨어져 있다고 평가받던 일본이나 대만 등도 최근 대규모 투자를 발표한 상태다.
반면 한국에서는 대규모 AI 인프라 투자에 대한 발표가 그리 보이지 않는 모습이다. 지난 11월 SK텔레콤이 개최한 ‘SK AI 서밋’에서는 유영상 대표가 “글로벌 빅테크가 평균 15만개의 GPU를 확보한 데 비해, 국내에는 전체를 통틀어도 H100 GPU가 2000개 정도밖에 없다”고 밝히면서 문제를 제기한 바 있다. 하지만 일각에서는 이를 현재 국내 서버 시장을 너무 과소평가해 “일부의 상황을 다소 과장한 주장”으로 판단하고 있다.
SK AI 서밋 현장에서 ‘국내 H100 GPU 규모가 2000개’라고 언급된 부분은 그 이전부터 AI 업계에서 국내 업체들의 GPU 확보에 대한 어려움을 토로하면서 이야기해 오던 바 있다. 이러한 인용의 근거로는 과학기술정보통신부 산하 소프트웨어정책연구소(SPRi)가 발간한 ‘2023 인공지능산업 실태조사’ 결과를 들 수 있다. 이 보고서의 조사 결과에 따르면, 2354개 조사 대상 기업 중 GPU를 갖춘 1441개 업체에서 총 1961개의 H100 GPU를 보유한 것으로 나타난 바 있다.
이에 대해, IT업계에서는 지난 몇 년간 코로나19 팬데믹에 따른 공급망 대란을 겪으면서 진통을 겪긴 했지만 이 ‘H100 2000개’ 언급은 다소 한국 시장을 과소평가한 것이라는 의견도 있다. 게다가 조사 자료가 2022년 조사를 시작으로 한 2023년 결과라는 점도 고려되어야 할 사항으로 지적된다.
현재 GPU 서버 판매량이 기업들의 주요 영업기밀로 취급되고 있고 복잡한 채널 영업 구조 등으로 국내에 GPU 서버 공급 현황을 정확히 파악하기는 많은 어려움이 있다. 하지만 국내에 GPU 서버가 대략 어느 정도 있을 것으로 예상되는지 짐작할 수 있는 근거들도 몇 가지 정도를 찾을 수 있다.
일단, 지난 4월 한국IDC가 발간한 ‘국내 엔터프라이즈 인프라스트럭처 서버 컨핏 보고서’에 따르면 2023년 국내 서버 시장 매출 규모는 2조9521억원 규모로 나타났고 2024년에는 3조7000억원 정도 규모를 차지할 것으로 전망된다. 향후 5년간 연평균 성장률은 9.9%가 예상되며 이러한 성장세를 이끄는 것은 AI 시대에 주목받는 ‘GPU 서버’다.
IDC의 조사 결과는 일반적인 x86 서버와 비 x86 서버 정도로만 구분됐는데 대부분의 GPU 서버는 x86 프로세서 기반 서버로 분류된다. 이 조사 결과에서 2023년 x86 서버 시장 규모는 2조7000억원, 2024년 예상은 3조3000억원 가량으로 추산된다. 비 x86 계열에서도 GPU 서버가 존재할 수는 있지만 국내에서 ‘비 x86 서버’는 주로 IBM의 ‘파워’나 오라클 ‘스팍’ 계열의 메인프레임이나 유닉스 서버들이 주류인 것으로 알려져 있다.
최근 국내 x86 서버 시장에서 GPU 서버의 매출 비중은 예상 이상으로 큰 것으로 알려져 있다. 주요 서버 업체들의 경우, 전체 서버 매출에서 GPU 서버의 매출 비중은 업체별 전략에 따라 다르지만 최소 30~40%에서 크게는 50%까지도 이르는 것으로 알려졌다. IDC 또한 보고서에서 생성형 AI 시장의 가파른 성장으로 기업 IT 예산이 GPU 서버에 집중된 상황이다. 2023년의 경우 전년 대비 시장 규모가 줄어든 원인으로도 GPU 서버의 공급 지연을 꼽을 정도였다.
윤석준 레노버 글로벌 테크놀로지 코리아 부사장은 지난 6월 IT조선과의 인터뷰에서 “매출 측면에서는 대형언어모델(LLM) 등과 관련된 GPU 서버 부분이 40~50%에 이를 정도다”라고 언급한 바 있다. 다른 업계 관계자도 이에 대해 “최근 기업들이 어려운 상황에서도 일반 서버에 대한 투자를 줄이더라도 AI 경쟁에 따라가기 위해 GPU 서버에는 과감히 투자하고 있다”며 “전통적인 서버 부분에서 매출이 감소한 부분을 GPU 서버가 지탱해주고 있을 정도다”라고 전했다.
서버 업체들에 따르면, 국내의 GPU 서버 시장 규모는 최소 연 1조원대에서 크게는 1조원 중반대에 이를 것으로 전망하고 있다. 이러한 규모의 GPU 서버 시장에서 대부분은 ‘엔비디아’의 GPU를 선택하는데 업계에서는 고객들의 엔비디아 GPU 탑재 서버의 선호도가 전체 시장에서 점유율 90%에 육박할 정도라고 평가한다. 앞서 추산한 연 1조원대의 GPU 서버 시장 대부분이 엔비디아의 최신 GPU를 탑재한 서버 시장이라고 해석할 수 있다.
엔비디아의 최신 H100 GPU 한 개의 가격은 대략 ‘4000만원대’로 알려졌 다. 고성능 GPU 서버의 표준 규격으로 통용되는 2개의 고성능 프로세서와 8개의 ‘H100 SXM5’ GPU를 탑재한 GPU 서버는 브랜드별, 구성에 따라 다르겠지만 최소 대당 수억원에 이른다. 계산하기 쉽게 한 대당 10억원이라 가정해도 2024년 기준 1조5000억원대 수준의 시장 규모면 서버 수로는 1500대, GPU 수로는 1만2000개 가량이 된다.
물론 1조5000억원대로 추정되는 시장 규모에서 모두가 ‘H100’을 구입하지는 않을 수도 있다. 하지만 2024년 들어 GPU 수급난도 대부분 해결돼 서버 납품 대기도 통상적인 수준인 것으로 알려져 있다. 엔비디아 또한 H100을 넘어 H200을 대량 공급하기 시작했고 차세대 ‘블랙웰’ 시리즈도 본격 출하를 준비하고 있는 상황이다. 이런 상황에서 특별한 상황이 아니라면 대부분 구형 ‘A100’ 보다는 최신 ‘H100’을 선택할 것이라는 점은 분명하다.
많은 기업들이 GPU 서버를 도입한 것을 외부적으로 발표하지 않는 편이지만, 몇몇 기업들은 이를 공개적으로 발표하고 있다. 대표적으로 NHN클라우드는 국내 클라우드 사업자 중 가장 빠르게 H100 기반 GPU 서버 도입에 나서 약 1000개의 H100 GPU를 확보한 것으로 알려졌다. 지난 11월 발표된 최신 슈퍼컴퓨터 ‘톱500’에 등재된 NHN클라우드의 ‘광주 AI’ 시스템의 경우, 발표된 성능 수치로는 약 400개 가량의 H100을 연결한 시스템으로 추정된다.
최근에는 삼성SDS 또한 상당한 양의 GPU 서버를 확보한 것으로 알려졌다. 삼성SDS는 델의 ‘파워엣지 XE9680’ GPU 서버를 기반으로 H100 등 고성능 GPU 구성을 도입해 델의 중요한 고객 사례로 꼽히기도 했다. 삼성SDS가 확보한 H100은 1000여개 규모로 알려졌지만 업계에서는 실제로 이보다 더 많은 수량이 공급된 것으로 파악하고 있다. 이 외에도 외부에 알려지지는 않았지만 클라우드 사업자들 뿐만 아니라 주요 대기업 연구소들도 상당량의 GPU 인프라를 자체 구축하고 있는 것으로 파악되고 있다.
한편, 일각에서 제기되는 “엔비디아가 지역별로 GPU 수량을 할당해 의도적으로 국내 공급 수량을 줄이고 있다”는 의견에 대해, 엔비디아 관계자는 “엔비디아는 GPU의 지역별 공급량에 대해 인위적인 조절을 하지 않는다”고 언급했다. 사실 이는 GPU 서버의 유통 방식 측면에서도 엔비디아가 조절하기 어려운 부분이기도 하다. 이런 부분이 국내 서버 시장과 GPU 서버 시장의 정확한 규모를 추산하기 어렵게 만드는 부분이기도 하다.
엔비디아는 최근 분기 실적 발표에서 데이터센터용 GPU 매출의 절반 정도가 글로벌 거대 클라우드 사업자 ‘하이퍼스케일러’ 공급분이라고 언급한 바 있다. 한국이 확보할 수 있는 GPU 분량은 그 이외의 절반에서 거래 형태와 규모에 따라 달라질 수 있다. 일각에서는 한국의 AI 기업들이 해외 빅테크들에 비해 상대적으로 규모가 작아 구매 우선순위에서 밀리고 있다고도 평한다. 이에 따라 업계 전반의 ‘공동 구매’나 국가 단위의 투자를 통한 공용 인프라 확보 시도도 나오고 있다.
권용만 기자
yongman.kwon@chosunbiz.com
댓글0