GPU 고르는 법 2026 — A100·H100·L40S·B200, 이름만 봐도 아는 엔비디아 GPU 가이드

크게 보기

들어가며: "그냥 제일 좋은 걸로 주세요"

GPU 도입을 상담하다 보면 대화가 대개 이렇게 시작됩니다. "H100이 좋다던데, 저희도 그걸로 하면 되나요?" 그러면 저희는 되묻습니다. 무엇을 돌리실 건가요, 몇 명이 쓰나요, 그리고 어디에 놓으실 건가요.

차를 살 때 "제일 좋은 차 주세요"라고 하지 않는 것과 같습니다. 동네 배달에는 스쿠터가, 가족 나들이에는 SUV가, 이삿짐에는 트럭이, 컨테이너 수백 개에는 화물열차가 맞습니다. 화물열차는 가장 많이 싣지만 선로가 깔린 곳에서만 달립니다. GPU도 그렇습니다. 가장 비싼 GPU는 가장 많은 일을 하지만, 전기와 냉각이라는 선로가 필요합니다.

이 글은 엔비디아 서버용 GPU를 이름 읽는 법부터 고르는 법까지 순서대로 설명합니다. 제원과 가격은 2026년 10월 3일 기준으로 엔비디아 사양서와 각 클라우드 가격표를 확인했습니다.

1. 이름부터 읽어 봅시다: 과학자 족보

크게 보기

A100, H100, L40S, B200. 암호처럼 보이지만 규칙이 있습니다. 엔비디아는 GPU 설계가 크게 바뀔 때마다, 곧 세대(아키텍처)마다 과학자의 이름을 붙입니다. 그리고 제품명의 첫 글자가 그 과학자의 머리글자입니다.

이름에 얽힌 이야기 둘만 짚겠습니다.

그레이스 호퍼는 사람이 읽을 수 있는 말로 프로그램을 짜는 길을 연 컴파일러의 개척자입니다. 엔비디아는 이 세대에서 GPU에 호퍼(Hopper)라는 이름을, 함께 내놓은 CPU에 그레이스(Grace)라는 이름을 붙였습니다. 둘을 한 모듈로 합친 제품은 그래서 '그레이스 호퍼'가 됩니다. 2026년 세대도 같은 방식입니다. CPU가 베라(Vera), GPU가 루빈(Rubin)이고, 합치면 암흑 물질의 증거를 찾아낸 천문학자 베라 루빈입니다.

이름 뒤의 숫자와 글자에도 규칙이 있습니다.

아래 해독기에 아무 이름이나 넣어 보세요.

2. 한 지붕 두 혈통: 연산 전용과 그래픽 겸용

크게 보기

족보에서 눈여겨볼 대목이 있습니다. Hopper(H)와 Ada Lovelace(L)는 차례로 나온 세대가 아니라 같은 시기에 나온 두 갈래입니다. 엔비디아의 서버용 GPU는 출발점이 다른 두 혈통으로 나뉩니다.

이 구분 하나로 많은 질문이 풀립니다. "L40S는 H100의 저가형인가요?" 아닙니다. 혈통이 다릅니다. L40S는 3D 렌더링과 영상 인코딩까지 하는 다목적 카드이고, H100은 계산만 하는 대신 메모리가 훨씬 빠르고 여러 장을 한 몸처럼 묶을 수 있습니다. SUV와 트럭 중 어느 쪽이 더 좋으냐는 질문에 답이 없는 것과 같습니다. 무엇을 싣느냐에 달렸습니다.

3. 제원표에서 볼 숫자는 넷뿐입니다

GPU 사양서에는 코어 수, 부동소수점 연산 성능 등 숫자가 빼곡합니다. 고르는 사람에게 필요한 것은 네 가지입니다.

① 메모리: 작업대의 넓이

크게 보기

GPU 메모리(VRAM)는 작업대입니다. AI 모델은 일하는 동안 통째로 이 작업대 위에 올라가 있어야 합니다. 설계도가 책상보다 크면 펼칠 수조차 없듯, 모델이 메모리보다 크면 느려지는 것이 아니라 아예 돌지 않습니다. 그래서 메모리는 가장 먼저 보는 숫자입니다.

작업대에 올라가는 것은 두 가지입니다.

• 모델 가중치: 파라미터 수 × 숫자 하나의 크기. 70B(700억 개) 모델을 16비트로 올리면 140GB, 8비트로 줄이면 70GB, 4비트로 줄이면 약 40GB입니다. 숫자를 줄이는 것을 양자화라고 하고, 조금의 품질을 내주고 자리를 크게 아끼는 방법입니다.
• 대화 내용(KV 캐시): 모델이 지금 읽고 있는 글을 기억해 두는 공간입니다. 문맥이 길수록, 동시에 쓰는 사람이 많을수록 커집니다.

위젯에서 동시 요청을 1개에서 32개로 올려 보세요. 모델은 그대로인데 필요한 메모리가 훌쩍 늘어납니다. "70B 모델이 80GB에 들어간다"는 말은 한 사람이 쓸 때의 이야기이고, 서비스로 여러 사람에게 열면 이야기가 달라집니다.

② 메모리 대역폭: 창고 문의 너비

크게 보기

두 번째 숫자는 사양서 구석에 있지만 LLM에서는 속도를 좌우합니다. 메모리 대역폭은 작업대에서 물건을 1초에 얼마나 꺼내 올 수 있느냐입니다.

LLM은 글자(토큰) 하나를 쓸 때마다 모델 가중치 전체를 한 번 훑습니다. 32GB짜리 모델이라면 토큰 하나에 32GB를 읽어야 합니다. 그러면 한 사람에게 글을 써 주는 속도의 상한은 간단한 나눗셈으로 나옵니다. 대역폭 ÷ 모델 크기.

표의 마지막 열은 대역폭을 32로 나눈 이론적 상한이고 실제 속도는 이보다 낮습니다. 여러 요청을 묶어 처리하면 전체 처리량은 이보다 훨씬 커집니다. 그래도 순서는 그대로입니다. 2020년에 나온 A100이 2023년에 나온 L40S보다 글을 빨리 쓰는 이유가 여기 있습니다. 창고 크기가 아니라 문의 너비가 다릅니다.

반대로 이미지 생성이나 영상 분석, 작은 모델은 대역폭보다 연산 성능이 중요해서 L40S가 제 몫을 합니다. 내 일이 '큰 모델로 글 쓰기'인지 아닌지가 이 숫자의 무게를 정합니다.

③ 연결: 섬 사이에 다리가 있는가

크게 보기

GPU 한 장에 안 들어가는 일은 여러 장에 나눠 싣습니다. 이때 GPU들은 끊임없이 서로 데이터를 주고받습니다. 그 통로가 세 번째 숫자입니다.

NVLink는 GPU끼리 직접 잇는 전용 다리입니다. 다리가 없으면 GPU들은 서버의 일반 통로를 거쳐 이야기해야 하고, 그 속도는 수십 분의 일입니다.

다리가 꼭 필요한 일과 필요 없는 일이 있습니다. 모델을 학습시키거나, 한 장에 안 들어가는 큰 모델을 여러 장에 나눠 돌릴 때는 다리가 성능을 정합니다. 반면 작은 모델을 카드마다 하나씩 따로 띄워 요청을 나눠 받는 서비스라면 GPU끼리 이야기할 일이 없어 다리가 필요 없습니다. L40S 8장 서버가 추론 서비스에서 잘 쓰이는 이유입니다.

④ 전력: 놓을 수 있는가

네 번째 숫자는 성능이 아니라 현실의 문제입니다. 72W짜리 L4는 어떤 서버에도 꽂히지만, 장당 1,000W 안팎인 B200은 전용 서버와 고밀도 랙, 경우에 따라 수랭 설비가 필요합니다. 이 이야기는 6장에서 따로 다룹니다.

네 숫자를 하나씩 골라 열 가지 GPU를 줄 세워 보세요.

4. 세대별로 한 장씩 뜯어 보기

이제 세대마다 대표 제품을 보겠습니다. 먼저 한눈에 보는 표입니다.

B200과 B300의 전력은 엔비디아가 낱개 수치를 공개하지 않아 SemiAnalysis의 추정치를 적었습니다. B300의 메모리는 엔비디아 문서 안에서도 288GB, 약 278GB, 약 262GB로 표기가 엇갈려 중간값을 썼습니다.

Ampere — A100: 일곱 조각으로 나누는 케이크

크게 보기

2020년에 나온 A100은 "대형 GPU 한 장을 여럿이 나눠 쓴다"는 방식을 정착시킨 제품입니다. MIG(Multi-Instance GPU)라는 기능으로 한 장을 최대 7개의 독립된 작은 GPU로 쪼갤 수 있습니다. 80GB 모델이면 10GB짜리 일곱 개가 되고, 조각끼리는 메모리와 연산이 분리돼 옆 사람이 무거운 일을 해도 내 조각은 느려지지 않습니다. 케이크를 통째로 한 사람에게 주면 남기지만, 잘라서 나누면 일곱 명이 먹습니다. 작은 모델 여러 개를 돌리거나 여러 팀이 개발용으로 나눠 쓸 때 요긴합니다. 이 기능은 이후 H100, H200, B200에 이어졌고, 그래픽 겸용 혈통에서는 RTX PRO 6000 Blackwell(최대 4조각)부터 들어왔습니다. L40S에는 없습니다.

A100은 엔비디아의 현행 제품표에서 빠졌고 유통사 목록에서도 단종 제품으로 분류됩니다. 그런데도 임대 시장에서는 여전히 인기입니다. 80GB의 HBM 메모리를 가장 싸게 빌릴 수 있기 때문입니다.

• 이럴 때 고르세요: 클라우드에서 40B급 이하 모델을 싸게 돌리거나 미세조정할 때. 여러 팀이 한 장을 쪼개 쓸 때.
• 이럴 땐 피하세요: 새로 구매할 때(신품을 구하기 어렵고 지원 기간이 짧습니다). 8비트(FP8) 연산 가속이 필요할 때.

Hopper — H100·H200: 생성형 AI 시대의 기준

2022년에 나온 H100은 챗GPT 이후의 AI 붐을 받아 낸 GPU입니다. 트랜스포머 모델에 맞춰 16비트와 8비트 연산을 섞어 쓰는 트랜스포머 엔진을 넣었고, 메모리(HBM3)와 GPU 간 통로(NVLink 900GB/s)를 모두 키웠습니다. 엔비디아가 내세운 수치는 A100 대비 학습 최대 4배입니다(대규모 클러스터 기준 추정치). GPU 임대료를 말할 때 "H100 시간당 얼마"가 기준이 될 만큼 표준이 됐습니다.

H200은 같은 칩에 메모리만 바꾼 개량형입니다. 80GB가 141GB로, 대역폭이 3,350GB/s에서 4,800GB/s로 늘었습니다. 엔비디아 발표로는 Llama 2 70B 추론에서 H100의 1.9배입니다. 연산 칩은 그대로인데 메모리만 바꿔서 두 배 가까이 빨라졌다는 점이, 3장에서 본 "LLM 속도는 메모리가 정한다"의 좋은 증거입니다.

세대 차이를 실측으로 보면 이렇습니다. GPU 클라우드 Jarvislabs가 같은 조건(vLLM, Qwen3-32B)으로 잰 초당 처리 토큰은 A100이 699, H100이 1,251이었고, H100에서 8비트(FP8)로 바꾸자 2,795까지 올랐습니다. A100은 FP8 가속이 없으므로 같은 모델에서 네 배 차이가 납니다. 새 세대의 값어치는 칩 속도만이 아니라 "더 작은 숫자로 계산해도 되는 기능"에서도 나옵니다.

• 이럴 때 고르세요: 40B~120B급 모델의 서비스와 미세조정, 여러 장을 묶는 학습. 임대 물량이 가장 많아 구하기 쉽습니다.
• 이럴 땐 피하세요: 새로 구매한다면 H100보다 H200이나 B200을 봅니다. 엔비디아의 현행 제품표에 Hopper 세대는 H200만 남아 있습니다. 화면 출력이나 영상 인코딩이 필요한 일에는 맞지 않습니다(인코더가 없습니다).

Ada Lovelace — L4·L40S: 어디에나 들어가는 범용

L 계열은 "전용 서버 없이 지금 있는 서버에 꽂는다"가 핵심입니다.

L4는 72W입니다. 보조 전원 케이블 없이 슬롯 전력만으로 돌고, 높이가 낮은 한 칸짜리 카드라 거의 모든 서버에 들어갑니다. 24GB 메모리로 8B급 LLM, 임베딩, 음성 인식, OCR, 영상 분석을 맡습니다. 영상 디코더가 4개 있어 CCTV 영상 여러 채널을 동시에 풀어 분석하는 일에 특히 잘 맞습니다.

L40S는 48GB 메모리에 레이트레이싱 코어와 영상 인코더·디코더를 갖춘 다목적 카드입니다. 엔비디아는 출시 당시 A100 대비 생성형 AI 추론 최대 1.2배, 학습 최대 1.7배를 내세웠습니다. 2023~24년 H100을 몇 달씩 기다려야 하던 시기에 "바로 구할 수 있고 일반 서버에 8장이 들어가는 GPU"로 널리 퍼졌습니다. 다만 NVLink와 MIG가 없다는 점은 기억해야 합니다.

• 이럴 때 고르세요: 3D·디지털 트윈·영상 처리와 AI를 한 서버에서 할 때. 10B급 모델을 카드마다 하나씩 띄워 서비스할 때. 기존 전산실에 놓아야 할 때.
• 이럴 땐 피하세요: 한 장에 안 들어가는 큰 모델을 빠르게 돌려야 할 때(카드 간 다리가 없고 메모리가 느립니다). 대규모 학습.

Blackwell — B200·B300·GB300, 그리고 RTX PRO 6000

Blackwell은 2026년의 주력 세대이고, 판매 단위가 달라진 세대이기도 합니다.

B200은 장당 180GB, 대역폭 8,000GB/s입니다. 4비트 연산(FP4)을 지원해 같은 메모리에 더 큰 모델을 올립니다. 8장을 얹은 공랭 서버(DGX B200, HGX B200)로 팔립니다. 엔비디아는 DGX B200이 DGX H100 대비 학습 3배, 추론 15배라고 발표했고, 독립 벤치마크인 InferenceX는 B200이 H100보다 달러당 성능에서 약 2.9배(8비트 기준), 4비트 연산까지 쓰면 8.2배 앞선다고 측정했습니다.

B300(Blackwell Ultra)은 메모리와 전력을 더 키운 강화판입니다.

GB200·GB300 NVL72는 카드도 서버도 아닌 랙입니다. GPU 72장과 CPU 36개를 수랭 랙 하나에 넣고 NVLink로 전부 이어, 랙 전체가 한 대의 컴퓨터처럼 움직입니다. 최신 학습 벤치마크(MLPerf Training v6.0, 2026년 6월)에서 GB300 NVL72는 같은 규모의 GB200 NVL72보다 최대 1.6배 빨랐습니다. 랙 하나가 약 120kW를 쓰고 냉각수 배관이 필요하므로, 이것을 들이는 일은 장비 구매보다 건물 공사에 가깝습니다.

그리고 그래픽 겸용 혈통의 Blackwell이 RTX PRO 6000 Blackwell 서버판입니다. 96GB(GDDR7), 최대 600W, MIG 4조각. 엔비디아가 직접 L40S를 "이전 세대"라고 부르며 후계로 내세우는 제품이고, 일반 서버에 최대 8장을 꽂는 구성을 'RTX PRO 서버'라는 이름으로 서버 회사들이 팝니다. L4급의 후계로는 2026년 3월에 RTX PRO 4500 Blackwell 서버판(32GB, 165W, 한 칸)이 발표됐습니다. L 다음 글자는 없습니다. 그래픽 겸용 혈통은 Blackwell 세대부터 'RTX PRO'라는 이름을 씁니다.

• 이럴 때 고르세요: 100B급 이상 모델, 새로 구매하는 학습용 장비, 달러당 처리량이 중요한 대규모 서비스는 B200·B300. 일반 전산실에 큰 메모리가 필요하면 RTX PRO 6000 Blackwell.
• 이럴 땐 피하세요: 놓을 자리(전력·냉각)가 준비되지 않았을 때. 작은 모델 몇 개 돌리는 일에는 과합니다.

Rubin — 지금 살 수 있나요?

Rubin은 2026년 세대입니다. GPU 한 장에 HBM4 메모리 288GB, 대역폭 22,000GB/s(B200의 약 2.7배)이고, GPU 72장과 Vera CPU 36개를 묶은 Vera Rubin NVL72 랙이 주력입니다. 엔비디아는 5월 말에 "올가을 양산 출하 시작"을 알렸고, 9월 16일 공개된 MLPerf Inference v6.1에는 Vera Rubin NVL72가 미리보기로 참가해 GB300 NVL72 대비 최대 3.7배(Qwen3-VL), 2.5배(DeepSeek-R1)를 기록했습니다.

고객 입장에서 정리하면 이렇습니다. Rubin은 나왔지만 아직 대부분의 고객이 살 수 있는 물건은 아닙니다. 초기 물량은 대형 클라우드로 가고, 일반 기업은 2027년에 클라우드 임대로 먼저 만나게 될 가능성이 큽니다. 그리고 8장짜리 Rubin 서버(DGX Rubin NVL8)는 한 대가 약 24kW입니다. 세대가 올라갈수록 "놓을 자리" 문제는 커집니다.

"Rubin이 나오니 기다릴까요?"라는 질문에는 이렇게 답합니다. 지금 할 일이 있으면 지금 맞는 것을 쓰세요. GPU는 매년 새 세대가 나오고, 기다림에는 끝이 없습니다. 구매가 망설여지면 빌리는 것이 기다림의 대안입니다.

5. DGX는 GPU 이름이 아닙니다

크게 보기

"DGX로 주세요"라는 말을 자주 듣습니다. DGX는 GPU의 종류가 아니라 엔비디아가 직접 만들어 자기 상표로 파는 완제품 서버의 이름입니다. GPU를 사는 방법은 크게 세 가지입니다.

DGX와 HGX는 속에 든 GPU 기판이 같습니다. 성능 차이가 아니라 누가 조립하고 누가 책임지느냐의 차이입니다. MGX라는 이름도 종종 보이는데, 이것은 서버 회사들이 여러 GPU·CPU 조합을 같은 틀에 끼울 수 있게 엔비디아가 정한 조립 규격입니다.

DGX의 역사는 그대로 GPU 세대의 역사입니다.

10년 사이 한 대의 전력이 3.5kW에서 24kW로 일곱 배가 됐습니다. 성능은 그보다 훨씬 많이 늘었지만, 전력과 냉각이라는 청구서도 함께 커졌습니다.

DGX라는 이름을 단 책상용 제품도 둘 있습니다.

• DGX Spark: 가로세로 15cm, 무게 1.2kg의 소형기입니다. 서버용 GPU가 아니라 전용 칩(GB10)에 CPU와 GPU가 메모리 128GB를 함께 쓰는 구조입니다. 240W 어댑터로 돌고 책상 콘센트에 꽂습니다. 메모리가 넉넉해 큰 모델이 올라가기는 하지만 속도는 서버용 GPU에 비할 바가 아닙니다. 개발자가 모델을 만져 보고 시제품을 만드는 용도입니다.
• DGX Station: 책상 옆에 두는 타워형 워크스테이션입니다. Blackwell Ultra GPU 한 개와 메모리 합계 748GB를 넣고 최대 1,600W를 씁니다. 사무실 전기로 돌지만 다른 기기와 나눠 쓰지 않는 전용 회로를 권합니다. 서버실 없는 연구실과 소규모 팀을 위한 물건입니다.

6. 놓을 자리가 있습니까: 전력과 냉각

크게 보기

GPU 도입에서 가장 자주 일정을 늦추는 것은 GPU가 아니라 건물입니다. 서버는 도착했는데 전기가 모자라 켜지 못하는 일이 드물지 않습니다.

감을 잡기 위한 숫자 몇 개입니다. 가정용 벽걸이 에어컨이 1~2kW쯤 씁니다. DGX H100 한 대는 10.2kW, DGX B200은 14.3kW입니다. 서버 한 대가 에어컨 대여섯 대에서 여덟 대만큼 전기를 쓰고, 그만큼의 열을 그대로 뿜어냅니다. 일반 사무용 전산실의 랙 하나는 흔히 4~8kW로 설계돼 있어서, 연산용 8장 서버 한 대가 랙 하나의 한도를 넘습니다.

이 표가 2장의 두 혈통 표와 겹쳐 보인다면 제대로 읽으신 것입니다. 그래픽 겸용 혈통이 '범용'으로 불리는 진짜 이유는 성능이 아니라 설치 조건입니다. 지금 있는 전산실에 들어가는 GPU와, 건물을 새로 준비해야 하는 GPU의 차이입니다.

사내에 둘 자리가 없을 때의 방법은 셋입니다. 데이터센터의 상면(랙 공간)을 빌려 내 장비를 갖다 놓거나(코로케이션), GPU 자체를 빌리거나(클라우드), 카드형 GPU로 구성을 바꿉니다.

7. 그래서 무엇을 고를까

지금까지의 내용을 네 가지 질문으로 줄였습니다.

자주 만나는 상황별로 정리하면 이렇습니다.

흔한 오해 일곱 가지

8. 살까 빌릴까, 그리고 값

마지막으로 돈 이야기입니다. 2026년 10월 3일 가격표에서 GPU 한 장을 한 시간 빌리는 값입니다.

두 가지가 보입니다. 첫째, 같은 GPU도 어디서 빌리느냐에 따라 두 배 차이가 납니다. 대형 클라우드는 비싸지만 기존 시스템과 붙이기 쉽고, GPU 전문 클라우드는 싸지만 부가 서비스가 적습니다. 둘째, 클라우드의 인스턴스 이름은 GPU 이름이 아닙니다. AWS에서 "g6e"가 L40S이고 "p5"가 H100이라는 것은 표를 봐야 압니다. 견적을 비교할 때는 인스턴스 이름이 아니라 그 안의 GPU가 무엇인지부터 확인하세요.

살 때의 값은 이렇습니다. 미국 소매 사이트와 유통사 공개가 기준이고, 재고와 환율, 관세에 따라 국내 견적은 달라집니다.

DGX Spark의 값이 출시 때보다 오른 데서 보이듯, 2026년의 GPU 가격에는 메모리값이 크게 작용합니다. 시장조사업체 트렌드포스는 4분기 D램 계약가가 전 분기보다 10~15% 더 오르고, HBM의 평균 가격은 2027년에 전년 대비 두 배 이상이 될 것으로 내다봤습니다. "기다리면 싸진다"가 통하지 않는 해입니다.

본전은 언제 뽑히나

H100 8장 서버를 40만 달러에 산다고 합시다. 같은 것을 전문 클라우드에서 빌리면 시간당 약 23달러(2.89 × 8), 하루 24시간 한 달이면 약 1만 7천 달러입니다.

장비값을 임대료로 나눈 단순 계산이고, 전기료와 상면 비용, 운영 인력은 넣지 않았습니다. 넣으면 더 길어집니다. GPU 한 세대의 주기가 2년 안팎인 것을 생각하면 기준은 분명합니다.

• 빌리는 편이 나은 경우: 사용률이 절반에 못 미칠 때, 어떤 GPU가 맞는지 아직 모를 때, 미세조정처럼 며칠만 필요할 때, 놓을 자리가 없을 때.
• 사는 편이 나은 경우: 하루 종일 돌릴 일이 3년 치 이상 확실할 때, 데이터를 밖으로 내보낼 수 없을 때, 전력·냉각·운영 인력이 준비돼 있을 때.

처음이라면 먼저 빌려서 일주일 돌려 보는 것을 권합니다. 우리 모델이 어느 GPU에서 얼마나 빠른지, 메모리를 실제로 얼마나 쓰는지는 재 봐야 압니다. 그 숫자를 들고 구매 견적을 받으면 과하게 사는 일도, 모자라게 사는 일도 줄어듭니다. 토큰 단위로 빌리는 방법까지 포함한 선택지는 AI 플랫폼 개발 특집의 서빙 사다리에 정리했습니다.

한국에서 알아 둘 것

정부 GPU 지원. 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 '첨단 GPU 활용 지원 사업'은 정부가 확보한 H200·B200을 국내 클라우드(네이버·NHN·카카오)를 통해 나눠 줍니다. AI 인프라 허브 안내 기준으로 중소기업·스타트업의 자부담은 GPU 한 장에 월 H200 40만 원, B200 80만 원이고(8장 서버 단위 배정), 대학과 연구기관은 무료입니다. 2026년 공고분은 10월 3일 현재 자원이 모두 배정돼 접수가 닫혀 있으니, 다음 공고를 확인해야 합니다.

국내 클라우드. 네이버클라우드 공개 요금표에는 T4가 시간당 691원, A100 8장 베어메탈 서버가 시간당 49,928원(GPU 한 장에 약 6,241원)으로 올라 있습니다. L40S·H100·H200 상품도 있지만 요금은 계산기나 문의로 확인해야 합니다. 국내 리전에서 처리해야 하는 데이터라면 선택지가 여기로 좁혀집니다.

엔비디아 밖의 선택지. 이 글은 엔비디아만 다뤘지만 대안도 있습니다. AMD의 Instinct MI300X는 메모리 192GB를 시간당 2.39달러(RunPod)에, MI355X는 288GB를 시간당 6달러 안팎부터 빌릴 수 있습니다. 메모리 대비 값은 좋지만, 쓰려는 소프트웨어가 AMD를 지원하는지 먼저 확인해야 합니다. 구글의 TPU와 AWS의 Trainium은 각자의 클라우드 안에서만 쓰는 전용 칩입니다. 개발자 책상에서는 통합 메모리가 큰 맥 스튜디오나 DGX Spark가 "큰 모델을 일단 올려 보는" 용도로 쓰입니다.

마치며: 견적을 받기 전 일곱 가지 질문

이 일곱 가지에 답할 수 있으면 "제일 좋은 걸로 주세요"가 "40B급 모델을 8비트로, 동시 50명, 사내 전산실 랙 하나에"로 바뀝니다. 그 문장이 있으면 어느 회사에서 견적을 받아도 같은 기준으로 비교할 수 있습니다. 스쿠터가 필요한 곳에 화물열차를 들이지 않고, 화물열차가 필요한 일을 스쿠터 여러 대로 버티지 않는 것. GPU 고르기의 전부입니다.

함께 읽으면 좋은 글: AI 플랫폼은 모델 바깥에서 만들어진다 — 서빙 사다리 · NVIDIA GTC 2026 완전 해부 · 넷플릭스는 왜 LLM을 직접 서빙하는가 (2부) · 제번스의 역설과 추론 경제학

참고한 자료 (제원·가격·상태는 2026년 10월 3일 확인)

• 제품 사양(엔비디아): T4 · L4 · L40S · A100 · H100 · H100 PCIe 제품 설명서 · H200 · RTX PRO 6000 Blackwell 서버판 · RTX PRO 4500 Blackwell 서버판 · GB200 NVL72 · GB300 NVL72 · Vera Rubin NVL72 · MIG 지원 GPU 목록 · 데이터센터 GPU 제품표 · 지포스 소프트웨어 사용 조건
• 시스템: DGX B200 · DGX B300 · DGX GB300 · DGX H100 사용자 안내서 · DGX A100 사용자 안내서 · DGX Rubin NVL8 · DGX Station · DGX Spark · HGX · MGX · RTX PRO 서버 · 유통사 PNY의 단종 제품 목록
• 발표와 성능: Hopper 발표 · Blackwell 발표 · Rubin 플랫폼 발표 · Vera Rubin 양산 발표 · L40S 발표 · MLPerf 결과 모음(엔비디아) · Vera Rubin NVL72 MLPerf Inference · InferenceX: B200 대 H100 · Jarvislabs: H100 대 A100 실측
• 가격: RunPod · AWS EC2 가속 인스턴스 사양 · AWS EC2 온디맨드 요금 · Google Cloud 가속기 요금 · Newegg H100 판매 목록 · Thinkmate GPU 서버 · 트렌드포스 D램 전망(2026-09-30) · 트렌드포스 HBM 전망(2026-09-29)
• 한국: AI 인프라 허브 — 첨단 GPU 활용 지원 사업 · 네이버클라우드 요금표