“AI 그래픽 렌더링 시대 개막” 엔비디아 지포스 RTX 5090 FE ①기능편 [리뷰]

IT조선 2025.02.07 조회수

이제는 너무도 당연한 것이 된 ‘컴퓨터 그래픽’은 지금까지 몇 번의 중요한 변곡점을 거쳐 왔다. 화면에 ‘문자’만 표시할 수 있었던 컴퓨터가 ‘그래픽’ 표시 능력을 얻으면서 ‘그래픽 인터페이스(GUI)’ 시대가 열렸고 3D 그래픽 성능의 향상은 게이밍을 넘어 산업계 전반의 ‘디지털화’에도 큰 역할을 했다. 최근의 ‘인공지능(AI)’ 열풍에서는 그래픽을 넘어 범용 병렬 연산 가속기로 자리잡은 GPU가 핵심 전략 자원으로까지 다뤄지고 있다.

이러한 컴퓨터 그래픽의 발전사에서 엔비디아는 제법 오랫동안 중요한 역할을 해 왔다. 특히 3D 시대로의 본격적인 전환을 알린 엔비디아 초창기의 NV1이나, 1999년 출시된 ‘지포스 256’은 하드웨어 T&L(Transform & Lighting)를 지원해 본격적인 ‘GPU’ 시대를 열었다. 그리고 엔비디아는 ‘GPU’ 시대 이후의 방향성을 ‘AI’로 표방하며 2018년 9월 출시된 ‘지포스 RTX 20’ 시리즈부터 ‘DLSS(Deep Learning Super Sampling)’ 기술 등 그래픽 처리에 AI 기술을 적용하는 다양한 시도를 해 오고 있다.

엔비디아가 새롭게 선보인 ‘지포스 RTX 50’ 시리즈는 이러한 ‘그래픽 처리에 AI를 적용하는’ 시대를 넘어 ‘AI로 그래픽 처리를 하는’ 시대로의 전환을 알리는 계기가 될 것으로도 기대된다. 코드명 ‘블랙웰(Blackwell)’로 알려진 새로운 아키텍처를 기반으로 하는 지포스 RTX 50 시리즈는 새로운 ‘DLSS 4 MFG(Multi Frame Generation)’를 사용하면 그래픽을 ‘렌더링’하는 것보다 AI로 ‘생성’하는 처리량이 더 많을 정도다. 이번 세대의 플래그십 모델 ‘지포스 RTX 5090’의 FE(Founder’s Edition)은 엔비디아의 향후 방향성을 잘 보여주는 제품으로 등장했다.

이전 세대보다 얇은 ‘2슬롯’ 두께 디자인이 눈에 띈다. / 권용만 기자

엔비디아 ‘지포스 RTX 5090’은 지포스 RTX 50 시리즈 중 가장 높은 사양을 갖춘 모델로, 하위 모델인 ‘지포스 RTX 5080’과는 성능에서 상당한 차이가 있다. 지포스 RTX 5090에 사용되는 GPU 코드명은 ‘GB202’로, 11개의 그래픽 프로세싱 클러스터(GPC)와 85개의 텍스처 프로세싱 클러스터(TPC), 170개의 스트리밍 멀티프로세서(SM)가 탑재됐다. 쿠다 코어 수는 총 2만1760개, RT코어 수는 170개, 텐서 코어와 텍스쳐 유닛은 모두 680개다.

메모리는 512비트 버스 폭의 32GB 28Gbps GDDR7 메모리를 탑재하며, 최대 메모리 대역폭은 이전 세대보다 80% 가량 높아진 1.8TB/s에 이른다. GPU 제조 공정은 이전 세대와 마찬가지로 TSMC의 4N 기반 커스텀 공정을 사용했다. 최대 소비전력은 이전 세대보다 크게 늘어난 575W로, 그래픽카드의 보조 전원 입력에 사용하는 12V-2×6 커넥터의 공급 전력 한계에 근접할 정도다. 지포스 RTX 5090 FE 카드는 보조전원 입력에 12V-2×6 커넥터를 사용하는데 이전의 12VHPWR 보다 커넥터의 장착 여부에 따른 안전성을 높인 방식이다.

지포스 RTX 5090 FE는 이러한 고성능을 갖춘 카드임에도, 지금까지의 고성능 그래픽카드와 달리 575W 소비전력을 감당할 수 있는 쿨링 솔루션까지 메인스트림 급 그래픽카드의 크기였던 ‘2슬롯’ 두께에 담은 점이 놀랍게 다가온다. 이전 세대 ‘지포스 RTX 4090 FE’가 3슬롯 두께였던 것에 비하면 두께가 33% 줄어든 셈이다. 여타 서드파티 카드들에 비하면 절반 수준의 두께다. 높이도 표준 슬롯 높이보다는 조금 높지만 대부분의 미들타워급 케이스는 물론이고 소형 폼팩터(SFF) 환경에서도 사용할 수 있을 정도의 크기다.

팬 또한 이전 세대보다는 하나 늘어난 두 개를 사용하지만 서드파티 카드들이 최소 3개의 팬을 사용하는 것을 생각하면 꽤 인상적이다. 두 개의 팬에서 만들어지는 공기 흐름은 카드 내의 히트파이프와 방열판을 통과해 카드 뒷면으로 나가는 관통형 구조고, 실제 GPU 부는 카드의 중앙부에 위치한다. 이러한 분할, 관통형 카드 구조는 설계와 제작에서 복잡도가 높지만 크기 대비 높은 쿨링 효율을 위해 선택한 것으로 보인다. 그래픽카드의 보조전원 커넥터 배치도 기울어져 있는데 실제 카드 장착시 보조전원 케이블의 꺾임 방지에 큰 도움이 된다.

GPU의 아키텍처부터 AI 적용을 위한 근본적인 변화가 있었다 / 엔비디아

엔비디아의 차세대 ‘블랙웰’ 아키텍처는 AI 연산에 특화된 데이터센터용 GPU로 처음 발표됐다. 이전 세대에서는 연산에 특화된 데이터센터용 GPU 아키텍처와 그래픽에 특화된 PC, 전문가용 GPU 아키텍처가 서로 분리돼 있었지만 이번 세대에서는 양 쪽이 모두 ‘블랙웰’ 기반이다. 그래픽을 위한 블랙웰 아키텍처에서는 이전 세대보다 기능과 성능이 향상된 5세대 텐서 코어와 4세대 RT(Ray Tracing) 코어가 탑재됐고 아키텍처 측면에서도 여러 가지 근본적 변화가 있었다. 무엇보다, GPU 아키텍처 전반에서 ‘AI 연산’을 염두에 둔 설계가 눈에 띈다.

엔비디아 GPU의 기반이 되는 ‘SM(Streaming Multiprocessor)’ 구성에서는 이전 세대에서 FP32, INT32 코어가 분리되어 있던 구조가 통합형으로 바뀌었으며 이에 따라 INT32 처리 성능은 기존보다 최대 두 배까지 높아졌다. 블랙웰 아키텍처에서 하나의 SM에는 쿠다 코어 128개와 1개의 RT 코어, 4개의 텐서 코어, 4개의 텍스쳐 유닛 등이 포함됐다.

쉐이더에서도 AI 기술을 접목한 ‘뉴럴 쉐이더(Neural Shaders)’ 구성을 갖추고, 쉐이더 코어와 텐서 코어를 동시에 쓸 수 있도록 구성했다. 이 ‘뉴럴 쉐이더’는 작은 AI 네트워크를 프로그래밍 가능한 쉐이더에 도입해, 복잡한 효과의 연출을 복잡한 코드 대신 ‘AI 모델’로 구현할 수 있게 했다. AI 기반의 ‘RTX 뉴럴 텍스쳐 압축’ 기술은 그래픽 처리에 필요한 메모리를 기존의 30% 정도만 사용하면서도 더 높은 수준의 품질을 제공할 수 있다.

이 ‘뉴럴 쉐이더’는 마이크로소프트의 ‘다이렉트X(DirectX)’에서도 ‘협동 벡터(Cooperative Vector)’ 기술로 지원될 예정이다. 또한 뉴럴 쉐이더에서 그래픽과 AI 워크로드가 혼재된 상황에서 처리 효율을 높이기 위해서는 ‘쉐이더 실행 재정렬’ 기술을 적용해 내부 유닛들의 활용률도 두 배까지 높였다.

블랙웰 아키텍처에 탑재된 4세대 RT 코어의 특징 중 하나는 ‘메가 지오메트리(Mega Geometry)’ 지원이다. 이전 세대와 비교하면 트라이앵글 클러스터 인터섹션 엔진, 트라이앵글 클러스터 디컴프레션 엔진, 리니어 스윕 스피어(Linear Swept Sphere) 등이 추가됐다. 이를 통해 레이 트레이싱 계산에서 복잡한 기하학적 데이터를 실시간으로 클러스터링과 업데이트하며 CPU 부하를 줄인다. 지포스 RTX 50 시리즈의 레이 트라이앵글 인터섹션 처리 성능은 기존보다 두 배 향상됐고 메모리 사용량은 25% 줄었다.

지포스 RTX 50 시리즈에 사용된 5세대 텐서 코어에서 가장 큰 변화는 ‘FP4’ 정밀도 지원이다. 이는 기존 RTX 40 시리즈의 텐서 코어가 ‘FP8’까지 지원하던 것에 비해 잘 최적화된 워크로드에서 메모리 사용량을 줄이면서도 두 배까지 성능 향상을 기대할 수 있다. 이러한 변화의 장점은 새로운 ‘DLSS 4’ 지원에서도 크게 나타나며, 지포스 RTX 50 시리즈에서 새로운 트랜스포머 모델을 사용한 DLSS 4를 사용하면 이전 세대보다 더 뛰어난 그래픽 품질과 더 높은 성능을 함께 제공할 수 있게 됐다.

GPU 내부에서 적극적으로 AI 연산을 활용하게 되면서, 연산과 그래픽 처리를 동시에 효율적으로 처리하기 위한 기술도 강화됐다. 새로운 ‘AI 관리 프로세서’는 GPU 내부에서 그래픽 렌더링과 AI 연산이 동시에 수행되는 상황에서도 최적화된 작업 배분과 진행으로 내부 효율을 높였다. 이 ‘AI 관리 프로세서’는 ‘RISC-V’ 아키텍처를 사용해 GPU의 작업 스케줄링을 하드웨어 수준에서 처리한다.

지포스 RTX 50 시리즈에서 쓸 수 있는 ‘DLSS 4 다중 프레임 생성’ 기술 / 엔비디아

지포스 RTX 50 시리즈의 장점은 ‘DLSS 4’ 기술에서 극대화된다. DLSS 4 기술은 프레임 생성(Frame Generation) 기술과 광선 재구성(Ray Reconstruction), 초해상도(Super Resolution), DLAA(Deep Learning Anti-Aliasing) 기능 등을 포함하는데, 이 중 프레임 생성 기능을 제외한 기술은 모든 지포스 RTX 시리즈에서 사용할 수 있다. 하지만 ‘프레임 생성’ 기능은 지포스 RTX 40 시리즈 이상부터 사용할 수 있고 ‘다중 프레임 생성(MFG: Multi Frame Generation)’’ 기능은 지포스 RTX 50 시리즈에서만 사용할 수 있다.

지포스 RTX 50 시리즈에서 가장 주목받는 기술도 이 ‘다중 프레임 생성’ 기능이다. 기존의 프레임 생성 기술이 한 프레임을 렌더링하고 한 프레임을 생성했다면 ‘다중 프레임 생성’ 기능은 한 프레임을 렌더링하면 이를 기반으로 세 프레임을 생성한다. 이 기술을 DLSS의 초해상도 기능과 함께 사용하면 기존의 ‘프레임 생성’ 기술에서 렌더링의 비중은 DLSS 퍼포먼스 모드 기준 전체 픽셀의 1/8이었다.하지만 ‘다중 프레임 생성’에서는 전체 픽셀의 1/16에 불과하다. 엔비디아가 지포스 RTX 50 시리즈에서 ‘AI 그래픽 렌더링 시대’를 내세우는 큰 이유도 여기에 있다.

엔비디아는 아 ‘다중 프레임 생성’ 기술이 지포스 RTX 50 시리즈에서만 지원되는 이유로 GPU 아키텍처 수준에서의 렌더링과 동시에 사용할 수 있는 AI 모델 수의 한계를 꼽는다. 기존 DLSS 3의 프레임 생성은 대략 렌더링되는 프레임에 초해상도와 광선 재구성 모델이, 생성하는 프레임에는 프레임 생성 모델과 옵티컬 플로우 가속기를 활용했다. 이 때 ‘옵티컬 플로우 가속기’의 유무가 DLSS 3에서 프레임 생성 기술의 지원 여부를 결정했던 바 있다.

DLSS 4의 다중 프레임 생성은 이보다 더 많은 모델의 구동이 필요하다. 일단 렌더링되는 프레임에는 초해상도와 광선 재구성 모델이, 생성되는 프레임에는 이미지 생성 모델과 AI 옵티컬 플로우 모델이 사용된다. 이전 세대에서는 ‘옵티컬 플로우 가속기’ 하드웨어가 쓰였지만, 지포스 RTX 50 시리즈에서는 이 가속기가 AI 모델로 대체됐다. 이 때 동시에 운영되는 모델 수는 5개에 이르며 이 정도의 복잡한 운영 상황은 기존 아키텍처에서 제대로 활용하기 어렵다는 것이 엔비디아의 의견이다.

이 ‘다중 프레임 생성’은 엔비디아가 제시하는 지포스 RTX 50 시리즈의 성능 향상에 핵심적인 역할을 한다. 게임에 따라서 다르지만, 4K급 게이밍에서 완전한 네이티브 렌더링 성능 대비 DLSS 4가 제공하는 성능은 크게는 8배 이상까지 높다. 이 정도의 성능 향상이면,지포스 RTX 5090에서는 레이 트레이싱 등의 효과를 모두 켜고도, 4K 해상도에서 60프레임을 넘어 240프레임 이상의 부드러운 움직임도 충분히 달성할 수 있다. 지포스 RTX 5070이 이전 세대 지포스 RTX 4090과 동급의 성능을 내는 것도 충분히 가능하게 된다.

이렇게 ‘프레임 생성’을 적극적으로 쓰면 전통적으로는 프레임 렌더링 때 반영되던 사용자의 입력에 대한 반응 주기가 프레임 대비 늦어진다는 문제도 생긴다. 이를 해결하는 ‘엔비디아 리플렉스(Reflex)’ 기술은 프레임의 렌더링과 생성 중간에 사용자의 반응을 반영해 렌더링의 순서를 바꾸는 식으로 사용자의 입력에 대한 반응성을 높인다. 그리고 엔비디아가 지포스 RTX 50 시리즈와 함께 선보인 ‘리플렉스 2’는 이제 사용자의 반응까지도 ‘예측’해서 그래픽에 반영함으로써 반응성을 이전보다 75%까지 높였다.

한편, DLSS 4에서는 ‘모델 형식’도 바뀌었다. 기존의 DLSS는 ‘CNN(Convolutional Neural Networks)’ 모델을 사용했지만 DLSS 4에서는 ‘트랜스포머(Transformer)’ 모델을 사용한다. ‘트랜스포머’ 모델을 적용하면서 프레임 생성을 위한 파라미터 깊이가 두 배 정도 깊어졌고 더 정교하고 높은 품질의 프레임을 생성해낼 수 있게 됐다. 새로운 모델은 이전 세대에서 품질에 아쉬움이 생기던 철망이나 나무 표면 등의 표현, 팬이 움직이는 장면 등에서 상당한 품질 향상을 달성해 냈다.

지포스 RTX 50 시리즈는 영상 등의 콘텐츠 크리에이터들에도 생산성을 높일 수 있는 다양한 신기능을 제공한다. 먼저, 영상 콘텐츠의 인코딩을 하드웨어 가속할 수 있는 ‘NVENC’ 유닛은 새로운 ‘9세대’가 이전 세대보다 한 개 늘어난 3개 탑재됐다. 영상 콘텐츠의 디코딩을 가속하는 ‘NVDEC’ 엔진은 새로운 ‘6세대’가 이전 세대보다 한 개 늘어난 2개 탑재됐는데 H.264/265 4:2:2 포맷 콘텐츠의 하드웨어 가속 지원 등이 추가됐다.

9세대 NVENC 엔진은 이전 세대 대비 AV1 고화질 하드웨어 인코딩에서 품질이 향상됐다. 전문가용 영상 장비를 위한 H.264/265의 4:2:2 색상 포맷을 하드웨어 가속 처리할 수 있어 작업 성능과 편의성, 최종 결과의 품질을 대폭 높였다. 4:2:2 색상 포맷의 영상을 GPU를 사용해 인코딩할 때, 인텔 코어 i9-14900K 대비 11배 가량 빠른 성능을 보인다. 인코더 갯수도 RTX 5090 기준 이전 세대의 2개에서 3개로 늘어 이전 세대보다 인코딩 성능도 50% 이상 높아졌다.

지포스 RTX 50 시리즈는 최근 콘텐츠 제작 환경에서 활용이 늘고 있는 ‘AI’ 기술 기반 도구의 활용에서 그 가치가 높다. 지포스 RTX 50 시리즈는 이미 많은 사용자들이 사용하고 있는 지포스 RTX GPU 지원 소프트웨어에서 뛰어난 성능을 제공하며 향후 FP4 지원 등 최적화를 통해 더 높은 성능을 기대할 수 있다. 엔비디아의 NIM 마이크로서비스와 최적화된 모델, 라이브러리 지원은 최신 AI 모델을 직접 활용하는 데도 가장 유리한 위치에 있다.

여러 소프트웨어 개발사들의 적극적인 지원 뿐만 아니라 엔비디아 또한 최신 GPU를 활용하는 다양한 기능들을 직접 지원하고 있다. 크리에이터들의 방송 환경에 다양한 도움을 주는 ‘엔비디아 브로드캐스트(NVIDIA Broadcast)’ 등이 좋은 예다. 특히 ‘엔비디아 브로드캐스트’에서는 얼굴 밝기만 올려 주는 새로운 ‘가상 키 라이트’ 기능이나, 음성 품질을 높여 주는 ‘스튜디오 보이스(Studio Voice)’ 기능이 새롭게 제공된다. 이 외에도 기존의 ‘배경 잡음 제거’나 ‘가상 배경’ 기능 등도 성능이 향상됐다.

권용만 기자

yongman.kwon@chosunbiz.com