GPU(그래픽 처리 장치)를 비교할 때는 전용 메모리(VRAM)의 용량 다음으로 대역폭과 설치 조건을 살펴봅니다. 같은 80GB여도 A100 PCIe와 H100 SXM의 대역폭은 달라요. RTX PRO 6000도 워크스테이션용인지 서버용인지에 따라 전력과 냉각 조건을 따로 확인해야 합니다.
아래에서는 워크스테이션, 그래픽·추론 서버, HBM 연산 서버로 나눠 NVIDIA 제품을 비교합니다. 메모리와 대역폭, 고대역폭 메모리(HBM), 가상 GPU(vGPU)와 하드웨어 분할(MIG) 지원, 공개 판매 가격을 함께 정리했습니다. 사양은 제조사 문서를 기준으로 하고 활용 판단은 그에 근거한 해석입니다. 직접 측정한 벤치마크나 사용 후기는 포함하지 않습니다.
표를 읽기 전에: 대역폭은 GPU 로컬 메모리의 제조사 공표값이며 실측값이 아닙니다. 이 글에서는 1TB/s를 1,000GB/s로 환산했습니다. A16을 제외하면 용량과 전력은 GPU 한 개 기준입니다.
워크스테이션 RTX는 NVIDIA의 전문가용 제품군이며, 모두 데이터센터 전용 GPU라는 뜻은 아닙니다. 지역 한정 제품 구성 코드(SKU)·모바일 GPU·GeForce·모든 구형 Tesla 제품을 망라한 목록은 아닙니다.
GPU 제품군과 메모리·연결 방식
워크스테이션과 서버의 설계 목적
CAD 도면을 고치거나 3D 장면과 로컬 AI 모델을 다룬다면 모니터 출력, 앱 호환성, 케이스 안의 냉각을 함께 봅니다. RTX A6000과 RTX 6000 Ada, RTX PRO Blackwell Workstation이 이 범주예요. 보통 카드 자체의 팬을 사용하는 액티브 냉각 방식입니다.
서버용은 필요한 작업에 따라 다시 나뉩니다. L4·L40S·RTX PRO Server는 영상 처리와 렌더링, VDI, 추론을 폭넓게 맡고 주로 GDDR을 사용합니다. A100·H100·H200·B200·B300은 AI 연산과 HPC를 중심으로 설계됐으며 HBM을 사용합니다.
패시브 서버 카드는 카드에 팬이 없는 대신 섀시의 강한 전후방 공기 흐름을 사용합니다. 데스크톱 슬롯에 장착할 수 있는지와 충분히 냉각할 수 있는지는 나눠 확인해야 합니다.
자료: NVIDIA RTX A6000 데이터시트 · NVIDIA RTX PRO 6000 Blackwell Server Edition · NVIDIA L40S 공식 사양 · NVIDIA A100 · PCIe / SXM 데이터시트
HBM 사용 여부와 메모리 용량의 차이
GDDR6·GDDR7은 워크스테이션과 범용 그래픽 서버에서 쓰이는 메모리입니다. HBM2·HBM2e·HBM3·HBM3e·HBM4는 넓은 인터페이스로 높은 대역폭을 확보합니다. RTX PRO 6000의 96GB GDDR7은 H100의 80GB HBM보다 용량은 크지만, 구성에 따라 대역폭은 H100 쪽이 높습니다. 먼저 모델이 들어가는지 보고 메모리 접근의 비중을 따져 봅니다.
메모리 종류로 MIG 지원까지 판단할 수는 없습니다. Blackwell RTX PRO는 GDDR7을 쓰면서 MIG를 지원합니다. 반면 RTX A6000과 RTX 6000 Ada는 ECC 메모리를 사용해도 MIG는 지원하지 않습니다. 필요한 기능은 정확한 제품의 지원표에서 따로 확인합니다.
자료: NVIDIA RTX PRO 6000 Blackwell Workstation Edition · NVIDIA RTX PRO 5000 Blackwell · 48GB / 72GB · NVIDIA MIG 지원 GPU 목록 · 2026-10-13 갱신
VRAM 대역폭·PCIe·NVLink의 구분
대역폭 표의 값은 GPU가 자기 VRAM에 접근하는 속도입니다. CPU·시스템 메모리·장치 사이의 PCIe와 GPU 간 통신 등에 쓰는 NVLink는 다른 경로예요. H200의 VRAM 4.8TB/s와 NVLink 900GB/s를 같은 통로의 수치로 비교하지 않습니다. 양방향 합산 표기인지도 확인합니다.
48GB 카드 두 장을 꽂아도 모든 앱이 96GB처럼 사용할 수 있는 것은 아닙니다. 모델 분할이나 렌더러의 다중 GPU 지원이 필요하고 장치 사이 통신 비용도 생깁니다. 여러 카드의 용량과 대역폭 합계를 단일 카드 성능으로 읽지 않습니다.
자료: NVIDIA H200 · SXM / NVL 사양 · NVIDIA Blackwell 데이터시트 · HGX B200 사양 8쪽
선택 순서: 필요한 VRAM 용량 → 허용 가능한 지연시간·처리량 → 다중 GPU 통신 → 가상화 방식 → 냉각·전력·총비용
워크스테이션 GPU 비교
워크스테이션에서는 우선 내 모델이나 장면이 메모리에 들어가는지를 봅니다. 48GB에서 72GB·96GB로 늘리면 다룰 수 있는 작업의 범위가 달라질 수 있어요. 이미 들어가는 작업의 연산 속도까지 용량에 비례해 빨라지는 것은 아닙니다.
| 제품 | 메모리 · HBM 사용 | 대역폭 GB/s | 보드 전력 |
|---|---|---|---|
| RTX A6000 | 48GB GDDR6 HBM: 아니요 | 768 | 300W |
| RTX 6000 Ada | 48GB GDDR6 HBM: 아니요 | 960 | 300W |
| RTX PRO 4500 Blackwell Workstation | 32GB GDDR7 HBM: 아니요 | 896 | 200W |
| RTX PRO 5000 Blackwell 48GB | 48GB GDDR7 HBM: 아니요 | 1,344 | 300W |
| RTX PRO 5000 Blackwell 72GB | 72GB GDDR7 HBM: 아니요 | 1,344 | 300W |
| RTX PRO 6000 Blackwell Workstation | 96GB GDDR7 HBM: 아니요 | 1,792 | 600W |
| RTX PRO 6000 Blackwell Max-Q | 96GB GDDR7 HBM: 아니요 | 1,792 | 300W |
| 제품 | 세대 | vGPU 확인 | MIG |
|---|---|---|---|
| RTX A6000 | Ampere | 그래픽 | 미지원 |
| RTX 6000 Ada | Ada | 그래픽 | 미지원 |
| RTX PRO 4500 Blackwell Workstation | Blackwell | 미등재 | 최대 2개 |
| RTX PRO 5000 Blackwell 48GB | Blackwell | 미등재 | 최대 2개 |
| RTX PRO 5000 Blackwell 72GB | Blackwell | 그래픽 · 20.2부터 | 최대 2개 |
| RTX PRO 6000 Blackwell Workstation | Blackwell | 미등재 | 최대 4개 |
| RTX PRO 6000 Blackwell Max-Q | Blackwell | 미등재 | 최대 4개 |
표의 ‘그래픽’은 NVIDIA vGPU Software 목록에 있는 제품, ‘미등재’는 확인일에 해당 SKU가 목록에 없는 경우입니다. 미등재가 PCIe 패스스루 불가를 뜻하지는 않습니다. MIG는 하드웨어 지원 기준으로 적었으며 호스트 조건은 4장에서 확인합니다.
자료: NVIDIA RTX A6000 데이터시트 · NVIDIA Ada 전문가용 GPU 아키텍처 백서 · NVIDIA RTX PRO 4500 Blackwell Workstation 데이터시트 · NVIDIA RTX PRO 5000 Blackwell · 48GB / 72GB · NVIDIA RTX PRO 6000 Blackwell Workstation Edition · NVIDIA RTX PRO 6000 Blackwell Max-Q 데이터시트 · NVIDIA vGPU Software 지원 GPU 목록 · 2026-10-02 갱신 · NVIDIA MIG 지원 GPU 목록 · 2026-10-13 갱신
RTX A6000과 RTX 6000 Ada의 세대별 차이
A6000은 Ampere의 48GB GDDR6·768GB/s 제품이고, RTX 6000 Ada는 같은 48GB에 960GB/s입니다. Tensor·RT 코어 세대도 달라집니다. 중고 A6000으로 용량을 확보할지 고민한다면 가격과 함께 렌더링·AI 커널의 세대 차이도 확인해 보세요.
A6000은 두 GPU 사이 NVLink를 지원합니다. 다만 브리지가 있어도 소프트웨어의 메모리 통합 지원은 따로 필요합니다. RTX 6000 Ada로 바꾸려면 기존 작업에서 NVLink를 사용했는지도 확인합니다. 제품명의 차이만 보고 교체를 결정하기 어려운 부분입니다.
자료: NVIDIA RTX A6000 데이터시트 · NVIDIA Ada 전문가용 GPU 아키텍처 백서
RTX PRO 5000 48GB·72GB의 용량과 대역폭
두 구성의 공식 대역폭은 1,344GB/s, 보드 전력은 300W로 같습니다. 72GB의 이점은 큰 모델과 장면을 GPU에 유지할 여유입니다. 이미 48GB 안에서 처리되는 작업이라면 용량이 1.5배라고 성능까지 1.5배로 계산하지 않습니다.
가상화에서는 구성을 더 엄격히 구분해야 합니다. 2026년 10월 확인한 vGPU 지원 목록에는 RTX PRO 5000 Blackwell Workstation Edition 72GB가 20.2부터 등재되어 있습니다. 이를 48GB 모델이나 다른 RTX PRO Workstation 모델 전체로 확대하면 안 됩니다. MIG는 48GB 모델에서 최대 2×24GB, 72GB 모델에서 최대 2×36GB 구성을 제공하는 것으로 데이터시트에 명시되어 있습니다.
자료: NVIDIA RTX PRO 5000 Blackwell · 48GB / 72GB · NVIDIA vGPU Software 지원 GPU 목록 · 2026-10-02 갱신
RTX PRO 6000 Workstation·Max-Q의 전력 조건
Workstation과 Max-Q는 96GB GDDR7·1,792GB/s를 공유합니다. 전력 조건은 각각 600W와 300W입니다. 다중 GPU나 전력 한도가 있는 환경에서는 Max-Q를 검토할 수 있어요. 지속 연산 성능은 앱 부하와 전력 제한, 냉각에 따라 달라지므로 메모리 사양만으로 같다고 판단하지 않습니다.
96GB는 로컬 대규모 언어 모델(LLM), 큰 텍스처를 포함한 렌더링, 대규모 데이터 탐색에서 유용합니다. 반면 대규모 분산 학습에서는 단일 카드 용량 외에 GPU 간 연결 구조가 더 중요한 조건이 됩니다. 서버용 RTX PRO 6000과도 구분해야 합니다. 공식 페이지 기준 대역폭은 Workstation·Max-Q 1,792GB/s, Server 1,597GB/s입니다.
자료: NVIDIA RTX PRO 6000 Blackwell Workstation Edition · NVIDIA RTX PRO 6000 Blackwell Max-Q 데이터시트 · NVIDIA RTX PRO 6000 Blackwell Server Edition
데스크톱에서 MIG를 사용할 계획이라면: RTX PRO 6000 Workstation·Max-Q는 MIG 활성화 전에 디스플레이 모드를 compute로 바꾸는 절차가 필요합니다. 이때 해당 카드의 물리 화면 출력이 꺼질 수 있습니다. 모니터용 별도 GPU나 원격 접속 수단, 드라이버·vBIOS 조건까지 포함해 구성해야 합니다.
자료: NVIDIA MIG 설정 전제조건 · 워크스테이션 디스플레이 모드
서버 GPU와 HBM 비교
GDDR 서버 GPU: VDI·영상·렌더링·추론을 함께 처리하는 제품군
서버에 들어간다고 모두 HBM을 쓰는 것은 아닙니다. A2·A10·A16·A40과 L4·L40·L40S, RTX PRO Server는 GDDR 기반입니다. 그래픽과 미디어 기능이 필요한 서버, 여러 사용자의 데스크톱, 추론과 렌더링을 함께 운영하는 환경에서 우선 검토할 수 있습니다.
| 제품 | 메모리 · HBM 사용 | 대역폭 GB/s | 보드 전력 |
|---|---|---|---|
| A2 | 16GB GDDR6 HBM: 아니요 | 200 | 40–60W |
| A10 | 24GB GDDR6 HBM: 아니요 | 600 | 150W |
| A16 보드 | 4 × 16GB GDDR6 HBM: 아니요 | GPU당 232 | 보드 전체 250W |
| A40 | 48GB GDDR6 HBM: 아니요 | 696 | 300W |
| L4 | 24GB GDDR6 HBM: 아니요 | 300 | 72W |
| L40 | 48GB GDDR6 HBM: 아니요 | 864 | 300W |
| L40S | 48GB GDDR6 HBM: 아니요 | 864 | 350W |
| RTX PRO 4500 Blackwell Server | 32GB GDDR7 HBM: 아니요 | 800 | 165W |
| RTX PRO 6000 Blackwell Server | 96GB GDDR7 HBM: 아니요 | 1,597 | 최대 600W |
| 제품 | 세대 | vGPU 확인 | MIG |
|---|---|---|---|
| A2 | Ampere | 그래픽 | 미지원 |
| A10 | Ampere | 그래픽 | 미지원 |
| A16 보드 | Ampere | 그래픽 | 미지원 |
| A40 | Ampere | 그래픽 | 미지원 |
| L4 | Ada | 그래픽 | 미지원 |
| L40 | Ada | 그래픽 | 미지원 |
| L40S | Ada | 그래픽 | 미지원 |
| RTX PRO 4500 Blackwell Server | Blackwell | 그래픽 / 연산 | 최대 2개 |
| RTX PRO 6000 Blackwell Server | Blackwell | 그래픽 / 연산 | 최대 4개 |
자료: NVIDIA A2 공식 사양 · NVIDIA A10 공식 사양 · NVIDIA Ampere 제품 비교표 · A16 포함 · NVIDIA A40 데이터시트 · Lenovo Press · NVIDIA L4 제품 가이드 · NVIDIA L40 데이터시트 · NVIDIA L40S 공식 사양 · NVIDIA RTX PRO 4500 Blackwell Server Edition · NVIDIA RTX PRO 6000 Blackwell Server Edition · NVIDIA vGPU Software 지원 GPU 목록 · 2026-10-02 갱신
A16의 64GB는 16GB GPU 네 개를 합한 용량입니다. 대역폭 232GB/s도 GPU 한 개 기준입니다. 하나의 64GB 모델을 그대로 적재할 수 있다고 계산하지 않습니다. 여러 VDI 사용자를 수용하려는 구성과 단일 대형 모델의 적재를 구분해 봅니다.
L4는 24GB·300GB/s·72W의 조합입니다. 작은 전력과 낮은 슬롯 점유가 중요한 추론·영상 처리 서버에 적합합니다. L40S는 48GB·864GB/s·350W로 더 큰 작업을 처리하는 범용 가속기에 가깝습니다.
두 제품은 모두 MIG를 지원하지 않습니다. 여러 가상 머신(VM)에 나눠 쓰려면 지원되는 vGPU 구성을 검토해야 합니다.
L40과 L40S는 메모리 용량과 대역폭이 같아도 연산 사양과 전력 조건이 다릅니다. 메모리 표만 보고 같은 제품으로 취급하면 안 됩니다. RTX PRO 4500 Server는 32GB·800GB/s·165W의 단일 슬롯 패시브 제품으로, Workstation 버전의 896GB/s·200W와 구분됩니다. RTX PRO 6000 Server는 96GB와 MIG를 갖춘 상위 선택지이지만 HBM 제품은 아닙니다.
자료: NVIDIA Ampere 제품 비교표 · A16 포함 · Lenovo Press · NVIDIA L4 제품 가이드 · NVIDIA L40S 공식 사양 · NVIDIA L40 데이터시트 · NVIDIA RTX PRO 4500 Blackwell Server Edition · NVIDIA RTX PRO 4500 Blackwell Workstation 데이터시트 · NVIDIA RTX PRO 6000 Blackwell Server Edition
HBM 서버 GPU: PCIe·SXM·HGX별 사양
PCIe와 SXM·HGX는 장착할 시스템부터 다릅니다. PCIe는 확장 슬롯에 넣고, SXM·HGX 모듈은 전용 베이스보드와 냉각·전원 설계가 필요해요. 견적에서도 모듈 단품, PCIe 카드, 완성 서버를 같은 가격 항목으로 놓지 않습니다.
| 제품 | 메모리 · HBM 사용 | 대역폭 GB/s | 보드 전력 |
|---|---|---|---|
| A30 | 24GB HBM2 HBM: 예 | 933 | 165W |
| A100 40GB | 40GB HBM2 HBM: 예 | 1,555 | 250W |
| A100 40GB | 40GB HBM2 HBM: 예 | 1,555 | 400W |
| A100 80GB | 80GB HBM2e HBM: 예 | 1,935 | 300W |
| A100 80GB | 80GB HBM2e HBM: 예 | 2,039 | 400W |
| H100 80GB | 80GB HBM2e HBM: 예 | 2,000 | 최대 350W |
| H100 80GB | 80GB HBM3 HBM: 예 | 3,350 | 최대 700W |
| H100 NVL | 94GB HBM3 HBM: 예 | 약 3,900 | 350–400W |
| H200 SXM | 141GB HBM3e HBM: 예 | 4,800 | 최대 700W |
| H200 NVL | 141GB HBM3e HBM: 예 | 4,800 | 최대 600W |
| HGX B200의 GPU | 180GB HBM3e HBM: 예 | 7,700 | 최대 1,000W |
| HGX B300의 GPU | 270GB HBM3e HBM: 예 | 7,700 | 최대 1,100W |
| 제품 | 형태 | vGPU 확인 | MIG |
|---|---|---|---|
| A30 | PCIe | 연산 | 최대 4개 |
| A100 40GB | PCIe | 연산 | 최대 7개 |
| A100 40GB | SXM4 | 연산 | 최대 7개 |
| A100 80GB | PCIe | 연산 | 최대 7개 |
| A100 80GB | SXM4 | 연산 | 최대 7개 |
| H100 80GB | PCIe | 연산 | 최대 7개 |
| H100 80GB | SXM5 | 연산 | 최대 7개 |
| H100 NVL | PCIe · GPU 1개 기준 | 연산 | 최대 7개 |
| H200 SXM | SXM | 연산 | 최대 7개 |
| H200 NVL | PCIe | 연산 | 최대 7개 |
| HGX B200의 GPU | HGX용 모듈 | 연산 | 최대 7개 |
| HGX B300의 GPU | HGX용 모듈 | 연산 | 최대 7개 |
자료: NVIDIA A30 데이터시트 · NVIDIA A100 · PCIe / SXM 데이터시트 · NVIDIA Hopper 아키텍처 · PCIe H100 HBM2e 설명 · NVIDIA H100 · SXM / NVL 사양 · NVIDIA H200 · SXM / NVL 사양 · NVIDIA Blackwell 데이터시트 · HGX B200 사양 8쪽 · NVIDIA Blackwell Ultra 데이터시트 · HGX B300 사양 5쪽 · NVIDIA AI Enterprise 8 · 연산 vGPU 하드웨어별 문서
H100 PCIe 80GB는 HBM2e, H100 SXM 80GB는 HBM3이며 대역폭은 각각 약 2TB/s와 3.35TB/s입니다. H100이라는 이름 뒤의 형태까지 읽어야 메모리 사양을 정확히 비교할 수 있습니다.
H100 NVL은 GPU당 94GB HBM3이며, 188GB라는 표기는 두 GPU 구성의 합계입니다. 표의 약 3.9TB/s는 GPU 한 개 기준입니다.
A100 80GB 역시 PCIe는 1,935GB/s, SXM은 2,039GB/s입니다. H200은 SXM과 NVL 모두 141GB HBM3e·4.8TB/s를 제공하지만, 최대 전력과 연결 방식이 다릅니다. H200 NVL의 PCIe 형태는 기존 기업용 서버를 활용하려는 검토에서 의미가 있지만, 600W급 GPU의 전원·냉각·호환성은 별도로 충족해야 합니다.
자료: NVIDIA Hopper 아키텍처 · PCIe H100 HBM2e 설명 · NVIDIA H100 · SXM / NVL 사양 · NVIDIA A100 · PCIe / SXM 데이터시트 · NVIDIA H200 · SXM / NVL 사양
B200·B300 수치를 적는 기준: 이 표는 현재 NVIDIA 공개 데이터시트의 HGX 개별 GPU 항목을 적용했습니다. B200은 180GB·7.7TB/s·최대 1,000W, B300은 270GB·7.7TB/s·최대 1,100W입니다. 같은 자료의 GB200 NVL72용 GPU는 186GB·8TB/s, GB300 NVL72용 GPU는 279GB·8TB/s로 다릅니다.
판매처의 192GB·288GB 표기나 다른 시스템 수치를 임의로 섞지 않았습니다. 실제 발주에서는 출하 SKU와 적용 데이터시트 개정을 함께 확인해야 합니다.
자료: NVIDIA Blackwell 데이터시트 · HGX B200 사양 8쪽 · NVIDIA Blackwell Ultra 데이터시트 · HGX B300 사양 5쪽
메모리 대역폭을 같은 단위로 놓으면 보이는 것
H200의 4,800GB/s를 L40S의 864GB/s로 나누면 약 5.56배입니다. 같은 비율로 추론이 빨라진다는 의미는 아닙니다. 작은 배치의 토큰 생성과 입력 처리, 큰 배치에서는 병목의 비중이 달라져요. 모델·정밀도·컨텍스트·동시 요청 수를 맞춘 뒤 지연시간과 처리량을 측정합니다.
배정밀도 부동소수점(FP64)을 사용하는 과학 계산도 별도로 검토해야 합니다. AI TOPS가 높은 제품이라고 모든 HPC 코드에 가장 적합하지는 않습니다. Blackwell Ultra 데이터시트의 HGX B300 개별 GPU FP64/FP64 Tensor 값은 1.2TFLOPS이고, Blackwell 데이터시트의 HGX B200은 37TFLOPS로 기재되어 있습니다. 이 차이를 무시한 채 세대가 새롭다는 이유만으로 FP64 워크로드를 교체하는 것은 타당하지 않습니다.
자료: NVIDIA Blackwell 데이터시트 · HGX B200 사양 8쪽 · NVIDIA Blackwell Ultra 데이터시트 · HGX B300 사양 5쪽
2026년 최신 세대 참고 항목: Rubin
NVIDIA의 현행 HGX 페이지에는 Rubin 개별 GPU가 288GB HBM4·22TB/s로 공개되어 있습니다. 다만 이 글에서 확인한 MIG 지원 목록과 vGPU 하드웨어 문서만으로 Rubin의 상용 가상화 구성을 확정하지는 않았습니다. 따라서 위의 운영 비교표에는 넣지 않고, 최신 세대 참고 항목으로 구분했습니다. 공개 가격과 하이퍼바이저 지원까지 확인되지 않은 상태에서 구매 가능한 대안으로 같은 점수를 매기는 일도 피했습니다.
자료: NVIDIA HGX · Rubin 개별 GPU 공개 사양 · NVIDIA MIG 지원 GPU 목록 · 2026-10-13 갱신 · NVIDIA AI Enterprise 8 · 연산 vGPU 하드웨어별 문서
vGPU·MIG 지원 조건
vGPU는 VM에 GPU를 제공하는 방식, MIG는 하드웨어 분할 기능
vGPU는 물리 GPU 자원을 VM에 제공하는 소프트웨어·드라이버 기반 기능입니다. MIG는 연산과 메모리 관련 자원을 분리한 인스턴스를 만드는 하드웨어 기능입니다. 함께 사용할 수도 있지만 지원 여부와 운영 조건은 각각 확인해야 합니다. 한쪽을 지원한다는 사실만으로 다른 기능이나 모든 VM 조합까지 사용할 수 있는 것은 아닙니다.
| 방식 | 자원 배분 | 적합한 상황 | 구매 전 확인 |
|---|---|---|---|
| GPU 패스스루 | 물리 GPU를 특정 VM에 직접 할당 | VM 하나가 GPU 전체를 사용할 때 | IOMMU, 서버·하이퍼바이저·드라이버 호환성 |
| Time-sliced vGPU | VM별 메모리 프로파일과 GPU 실행 시간 배분 | VDI, 가상 워크스테이션, 유연한 공유 | vGPU 제품군, 라이선스, 지원 하이퍼바이저 |
| 베어메탈 / 컨테이너 MIG | GPU 인스턴스별 하드웨어 자원 분리 | 추론 서비스 분리, 연구자별 자원 할당 | GPU별 프로파일과 미디어·연산 자원 구성 |
| MIG-backed vGPU | MIG 인스턴스를 기반으로 VM에 GPU 제공 | VM 단위 격리와 고정 자원이 필요할 때 | GPU·호스트·게스트 OS·vGPU 릴리스 조합 |
자료: NVIDIA AI Enterprise 8 · 연산 vGPU 하드웨어별 문서 · NVIDIA AI Enterprise 8 · MIG-backed vGPU 제한사항
그래픽 vGPU·AI Enterprise 연산 지원 문서
L4·L40·L40S·A2·A10·A16·A40·RTX A6000·RTX 6000 Ada는 NVIDIA vGPU Software 지원 목록에서 확인할 수 있습니다. RTX PRO 6000 Server와 RTX PRO 4500 Server도 포함됩니다. 반면 A30·A100·H100·H200·B200·B300의 연산 vGPU 지원은 NVIDIA AI Enterprise 문서에서 확인해야 합니다. 일반 그래픽 vGPU 목록에 없다는 이유로 연산 vGPU까지 불가능하다고 결론 내리면 안 됩니다.
앞의 표에서 ‘그래픽’과 ‘연산’은 확인에 사용한 문서 경로를 뜻합니다. 그래픽 목록에 있는 GPU가 NVIDIA의 GPU 병렬 연산 플랫폼인 CUDA를 사용하지 못한다는 뜻도, 모든 그래픽 제품이 가상 PC(vPC)·가상 앱(vApps)·가상 워크스테이션(RTX vWS)의 모든 조합을 지원한다는 뜻도 아닙니다. 서버 인증, vGPU 릴리스, 호스트 드라이버, 게스트 드라이버, 하이퍼바이저와 OS를 하나의 구성으로 검증해야 합니다.
자료: NVIDIA vGPU Software 지원 GPU 목록 · 2026-10-02 갱신 · NVIDIA AI Enterprise 8 · 연산 vGPU 하드웨어별 문서
MIG 지원 여부도 세대만으로 판단할 수 없습니다. Ampere에서는 A30이 최대 4개, A100이 최대 7개의 인스턴스를 지원하지만 A2·A10·A16·A40은 지원하지 않습니다. Ada의 L4·L40·L40S·RTX 6000 Ada도 MIG 미지원입니다. Blackwell RTX PRO에서는 6000 계열이 최대 4개, 5000·4500 계열이 최대 2개로 구분됩니다.
자료: NVIDIA MIG 지원 GPU 목록 · 2026-10-13 갱신 · NVIDIA RTX PRO 4500 Blackwell Server Edition · NVIDIA Blackwell Ultra 데이터시트 · HGX B300 사양 5쪽
MIG 인스턴스 수를 해석할 때의 주의점
A100을 최대 7개로 나눈다는 설명은 80GB를 임의 용량으로 일곱 등분한다는 뜻이 아닙니다. GPU별 프로파일과 배치 조합을 확인해야 합니다. 같은 메모리 크기라도 SM 수와 미디어 엔진 할당은 다를 수 있어요. 시스템 메모리·스토리지·네트워크까지 분리되는 것은 아니므로 서비스 지연시간도 따로 확인합니다.
Windows VM을 계획한다면 제한사항을 한 번 더 읽어야 합니다. AI Enterprise 8 문서상 A30·A100·H100·H200·B200·B300의 MIG-backed vGPU는 Windows 게스트를 지원하지 않습니다. 해당 문서는 이들 GPU의 Windows 게스트에 time-sliced vGPU를 안내합니다. RTX PRO 6000 Server와 RTX PRO 4500 Server는 Windows 게스트의 MIG-backed vGPU 지원 대상으로 별도 기재되어 있습니다.
자료: NVIDIA AI Enterprise 8 · MIG-backed vGPU 제한사항
베어메탈 Linux나 컨테이너에서 MIG를 사용하는 데 VM용 vGPU 라이선스가 자동으로 필요한 것은 아닙니다. VM에 vGPU를 제공할 때는 적용 제품군의 라이선스와 운영 조건을 확인해야 합니다. 라이브 마이그레이션 역시 지원되는 조합에서만 가능한 기능이며, 서로 다른 MIG 프로파일 사이에서 자유롭게 이동할 수 있다고 가정하면 안 됩니다.
자료: NVIDIA MIG 설정 전제조건 · 워크스테이션 디스플레이 모드 · NVIDIA AI Enterprise 8 · MIG-backed vGPU 제한사항
견적에는 GPU의 SKU와 서버 모델, 하이퍼바이저 버전, 드라이버 릴리스, 게스트 OS를 함께 적어 둡니다. 필요한 vGPU 프로파일과 라이선스 종류·기간도 확인합니다. MIG라면 인스턴스별 메모리와 연산 자원, 미디어 엔진 필요 여부까지 남겨야 같은 조건으로 비교하기 쉽습니다.
공개 가격과 시스템 전체 비용
공개 판매 사례로 살펴보는 대략적인 가격
아래 금액은 2026년 10월 18일 확인한 해외 공개 판매 페이지의 표시 가격을 반올림한 참고치입니다. 시장 전체의 최저가나 평균가, NVIDIA의 일괄 공식 정가가 아닙니다. 재고 확인이 필요한 품목과 수량별 단가도 포함되어 있습니다. 검색 결과의 예전 가격과 실제 상품 페이지가 달랐던 경우에는 열린 페이지의 금액을 우선했습니다.
가격 단위는 미국 달러이며, 한국 부가세·운송비·수입 비용은 포함하지 않았습니다. 원화 환산은 비교를 위한 가정 환율 1달러=1,400원을 사용했습니다. 이는 확인일의 실제 환율을 주장하는 수치가 아니며, 발주 시에는 결제 환율과 국내 공급사의 견적을 적용해야 합니다.
| 제품 / 구성 | 대략적인 가격 USD · 가정 환율 원화 | 판매 조건 / 해석 | 출처 |
|---|---|---|---|
| RTX A6000 | 약 $5,500부터 약 770만원부터 | 신품 공개 시작가 $5,460, 최종 견적 확인 | 공급사 표시가 |
| RTX 6000 Ada | 개별 견적 — | 색인상의 과거 가격과 현재 판매 목록이 달라 숫자 생략 | 판매 목록 |
| RTX PRO 4500 Workstation | 약 $5,600 약 780만원 | 신품 표시가 $5,550, 입고 확인 필요 | 상품 페이지 |
| RTX PRO 5000 48GB | 약 $9,500 약 1,330만원 | PNY 신품 표시가 $9,450 | 상품 페이지 |
| RTX PRO 5000 72GB | 약 $11,600 약 1,620만원 | NVIDIA SKU의 신품 공개 표시가 | 판매 목록 |
| RTX PRO 6000 Workstation | 약 $16,000 약 2,240만원 | NVIDIA Marketplace 표시가, 품절 표시 | 공식 판매 페이지 |
| RTX PRO 6000 Max-Q | 약 $24,400 약 3,420만원 | NVIDIA SKU 신품 개별 표시가, 입고 확인 필요 | 상품 페이지 |
| A2 / A10 / A16 | 각 약 $1,500 / $3,400 / $4,200부터 각 약 210만 / 480만 / 590만원부터 | 공급사 공개 시작가, 개별 SKU·상태 확인 | 공급사 목록 |
| A40 / L40 | 각 약 $5,700부터 / $7,800 각 약 800만원부터 / 1,090만원 | A40 공급사 시작가 / L40 리퍼 사례 | A40 · L40 |
| L4 | 약 $4,300 약 600만원 | NVIDIA SKU 신품 표시가 | 상품 페이지 |
| L40S | 약 $9,000 / $12,000 약 1,260만 / 1,680만원 | NVIDIA SKU 리퍼 $8,995 / 신품 $11,995 사례 | 판매 목록 |
| RTX PRO 4500 Server | 개별 견적 — | 동일 SKU·조건의 공개 단가 확인 부족 | 공식 제품 정보 |
| RTX PRO 6000 Server | 약 $19,500–20,500 / GPU 약 2,730만–2,870만원 / GPU | PNY 키트, 최소 8개 주문·수량 구간별 단가 | 수량별 단가 |
| A30 / A100 40GB PCIe / A100 80GB PCIe | 각 약 $5,700 / $9,400 / $15,000부터 각 약 800만 / 1,320만 / 2,100만원부터 | 공급사 공개 시작가, SXM 가격과 별개 | 공급사 목록 |
| H100 80GB PCIe | 약 $34,500부터 / $65,000 사례 약 4,830만원부터 / 9,100만원 사례 | 서로 다른 공급사 표시가, 재고·보증·구성 확인 | 시작가 · 개별 표시가 |
| H200 NVL | 약 $33,000–34,500 / GPU 약 4,620만–4,830만원 / GPU | 최소 4개 주문, 4–49개 구간별 단가 | 수량별 단가 |
| HGX B200 8-GPU 서버 | 약 $419,000–433,000 / 서버 약 5.87억–6.06억원 / 서버 | CPU·메모리 등 포함한 Exxact 공개 구성 사례 | 서버 구성 가격 |
| HGX B300 8-GPU 서버 | 약 $497,000부터 / 서버 약 6.96억원부터 / 서버 | BIZON 공개 시작가, 최종 사양·납기 견적 필요 | 서버 판매 목록 |
신품·리퍼 여부뿐 아니라 OEM 키트와 보증, 소프트웨어 기간, 수량과 납기도 가격에 영향을 줍니다. 표의 H100 두 사례 역시 일반적인 가격 범위를 뜻하지 않습니다. 판매처의 공개 표시가만으로 적정 구매가를 확정하기 어렵다는 점을 보여 주는 참고 자료입니다. 특정 판매처나 구매를 보증하는 의미는 아닙니다.
A100 SXM·H100 SXM·H100 NVL·H200 SXM은 위 단품 가격으로 환산하지 않았습니다. GPU 모듈, 브리지, HGX 베이스보드, 완성 서버가 뒤섞인 견적을 피하기 위해서입니다. B200·B300도 서버 가격을 8로 나눈 값을 ‘GPU 한 장의 판매가’로 쓰지 않았습니다. Rubin은 비교 가능한 공개 구매 가격을 확인하지 못해 금액을 제시하지 않습니다.
용도별 GPU 선택 기준
| 작업 | 먼저 비교할 제품 | 판단의 핵심 |
|---|---|---|
| CAD·DCC·3D·영상 편집 | RTX A6000 / RTX 6000 Ada / RTX PRO 4500·5000·6000 Workstation | 프로젝트 VRAM, ISV 인증, RT·미디어 기능, 소음·전력 |
| 로컬 LLM·개인 연구 | RTX PRO 5000 48·72GB / RTX PRO 6000 96GB | 모델·KV 캐시가 함께 들어가는지, 목표 응답속도 |
| 저전력 추론·영상 분석 | A2 / L4 / RTX PRO 4500 Server | 전력 예산, 미디어 엔진, 모델 크기, 동시 스트림 |
| 사무 VDI·원격 그래픽 | A16 / L4 / RTX PRO 4500 Server / L40S / RTX PRO 6000 Server | 사용자별 VRAM·화면 해상도·인코딩·vGPU 라이선스 |
| 서비스용 LLM·다수 사용자 추론 | L40S / RTX PRO 6000 Server / H100 / H200 / B200 / B300 | 실측 처리량, p95 지연시간, 캐시 용량, 격리 조건 |
| 대규모 다중 GPU 학습 | H100·H200 SXM / HGX B200·B300 | GPU 간 통신, 노드 간 네트워크, 학습 정밀도·커널 지원 |
| FP64 중심 과학 계산 | A100 / H100 / H200 / B200부터 코드별 비교 | FP64·FP64 Tensor 사양, 라이브러리, 메모리·통신 병목 |
아래의 검토 순서는 공개 사양에 근거하며 측정 성능 순위가 아닙니다. 작은 모델이 L4에서 필요한 속도로 동작한다면 H200의 대역폭에 비용을 더 들일 이유가 적을 수 있어요. 반대로 모델과 캐시가 48GB를 넘는다면 카드 단가 외에 여러 장의 분할과 통신, 운영 복잡성도 계산해야 합니다.
70B 모델로 살펴보는 VRAM 계산
단순한 가중치 계산으로 700억 파라미터를 16비트 부동소수점(FP16) 2바이트로 저장하면 약 140GB, 4비트 0.5바이트로 저장하면 약 35GB입니다. 여기에 양자화 메타데이터, 런타임 작업 공간과 KV 캐시가 추가됩니다. 따라서 ‘70B 4비트이니 48GB면 언제나 충분하다’거나 ‘141GB H200 한 장이면 70B FP16 서비스가 충분하다’고 단정할 수 없습니다.
실제 필요 메모리는 모델 구조와 양자화, 컨텍스트, 동시 요청 수에 따라 달라집니다. 가중치가 적재되는지와 장문·다중 사용자 서비스가 안정적으로 동작하는지를 나눠 보세요. KV 캐시는 앞의 토큰을 다시 계산하지 않도록 저장하는 어텐션의 키·값 데이터입니다. 요청이 길어지면 이 공간도 고려해야 합니다.
GPU·소프트웨어·시설을 포함한 최종 견적
GPU를 정했다면 서버의 슬롯·보조전원·전원 공급 장치(PSU)·냉각뿐 아니라 CPU와 RAM, NVMe 저장 장치, 네트워크 어댑터(NIC), 스위치, 광모듈·케이블, 랙 전력과 지원 계약을 합산해야 합니다. 가상화 환경에서는 vGPU 또는 AI Enterprise 라이선스의 적용 방식과 갱신 비용도 확인합니다. H200 NVL처럼 소프트웨어 구독이 포함된다고 안내되는 제품은 실제 구매 SKU에 포함되는 기간과 권리를 계약서에서 대조하는 편이 좋습니다.
자료: NVIDIA H200 · SXM / NVL 사양
전력 차이도 계산해 볼 수 있습니다. 추가 소비전력이 실제로 평균 300W이고 하루 24시간, 1년 내내 유지된다는 가정에서는 0.3kW × 24 × 365 = 연 2,628kWh가 추가됩니다. 이것은 측정값이나 전기요금 견적이 아닙니다. GPU의 명판 전력을 그대로 평균 소비전력으로 쓰지 말고, 실제 사용률과 냉각 비용을 넣어 총소유비용을 계산해야 합니다.
후보를 시험하기 전 사용할 모델이나 프로젝트, 정밀도와 컨텍스트·배치·동시성을 적어 둡니다. 허용 지연시간, 가상화 방식, 사용 시간과 전력 한도, 보증 조건도 맞춥니다. 이 조건이 같아야 GPU 등급보다 실제 작업에 필요한 차이를 비교하기 쉬워집니다.
자료 출처와 확인 기준
공식 사양과 지원 문서는 2026년 10월 18일에 확인했습니다. 문서에 따라 시스템 구성·SKU·메모리 표기가 다를 수 있어, 이 글에서는 각 표의 기준을 명시했습니다. 특히 Blackwell 데이터시트의 HGX 용량과 AI Enterprise vGPU 문서의 보드·프레임버퍼 표기는 서로 같지 않은 항목이 있으므로, 표 3의 VRAM을 VM에 그대로 할당할 수 있다고 해석하지 않습니다. 지원 여부와 가격은 이후 바뀔 수 있습니다.
- NVIDIA RTX PRO 6000 Blackwell Workstation Edition
- NVIDIA RTX PRO 6000 Blackwell Max-Q 데이터시트
- NVIDIA RTX PRO 5000 Blackwell · 48GB / 72GB
- NVIDIA RTX PRO 4500 Blackwell Workstation 데이터시트
- NVIDIA Ada 전문가용 GPU 아키텍처 백서
- NVIDIA RTX A6000 데이터시트
- NVIDIA RTX PRO 6000 Blackwell Server Edition
- NVIDIA RTX PRO 4500 Blackwell Server Edition
- Lenovo Press · NVIDIA L4 제품 가이드
- NVIDIA L40 데이터시트
- NVIDIA L40S 공식 사양
- NVIDIA A2 공식 사양
- NVIDIA A10 공식 사양
- NVIDIA Ampere 제품 비교표 · A16 포함
- NVIDIA A40 데이터시트
- NVIDIA A30 데이터시트
- NVIDIA A100 · PCIe / SXM 데이터시트
- NVIDIA H100 · SXM / NVL 사양
- NVIDIA Hopper 아키텍처 · PCIe H100 HBM2e 설명
- NVIDIA H200 · SXM / NVL 사양
- NVIDIA Blackwell 데이터시트 · HGX B200 사양 8쪽
- NVIDIA Blackwell Ultra 데이터시트 · HGX B300 사양 5쪽
- NVIDIA HGX · Rubin 개별 GPU 공개 사양
- NVIDIA vGPU Software 지원 GPU 목록 · 2026-10-02 갱신
- NVIDIA AI Enterprise 8 · 연산 vGPU 하드웨어별 문서
- NVIDIA AI Enterprise 8 · Blackwell vGPU 프로파일
- NVIDIA MIG 지원 GPU 목록 · 2026-10-13 갱신
- NVIDIA MIG 설정 전제조건 · 워크스테이션 디스플레이 모드
- NVIDIA AI Enterprise 8 · MIG-backed vGPU 제한사항
가격 출처는 표 5의 각 행에 직접 연결했습니다. 사양은 판매처 설명보다 제조사 기술 문서를 우선했습니다. 이 글의 활용 판단은 공개 사양에 근거한 편집상의 분석이며, 개별 시스템에서의 성능을 보장하는 자료는 아닙니다.
