#GPU 임대

3개의 포스트

2026.10.30

[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'

GPU를 빌릴 때 모두가 견주는 숫자는 'GPU 한 장 한 시간에 얼마'입니다. SemiAnalysis는 같은 시간당 가격에서도 총비용이 사전학습에서 1.00배·1.10배·1.15배로 갈리고, 그 차이의 대부분이 고장으로 날아가는 '굿풋' 손실(6.14%·10.53%·20.91%)이라고 계산했습니다. 반면 노드 하나짜리 추론은 수리에 8시간이 걸려도 손실이 0.5% 안팎이라, '추론은 싸게, 학습은 신뢰성을' 사야 합니다. 코어닷투데이는 SA의 공개 수식으로 계산기를 다시 만들어 세 시나리오 중 둘을 몇 달러 차이로 재현했고, 공개 수식 그대로면 실버 사전학습 손실이 48%까지 오른다는 점도 확인했습니다. 우리 A100 클러스터에서 기동 시간을 재다가, 엿새째 아무 알림 없이 꺼져 있던 GPU 한 장도 찾았습니다.

코어닷투데이73분

특집OpenRouter오픈 웨이트

2026.10.30

[특집] 같은 가중치, 10배 가격 — 오픈 모델을 사는 법

OpenRouter에 올라온 오픈 웨이트 모델 28개의 엔드포인트 518개를 내려받아 같은 모델의 가격을 나란히 놓았습니다. 출력 단가의 폭은 중앙값으로 2.8배, 입력 단가는 5배였고, GLM-5.3은 49개 엔드포인트 사이에서 채팅형 섞인 가격이 10.7배 벌어졌습니다. 가장 싼 공급자는 캐시 적중률과 입력:출력 비율에 따라 바뀌었고(DeepSeek V4.1 Flash는 채팅·RAG·에이전트에서 1등이 모두 달랐습니다), 가장 싼 가격 상당수에는 할인 표시와 미공개 양자화가 붙어 있었습니다. InferenceX 원가로 보면 모든 공급자 가격이 최신 칩에서는 남지만 H100·H200급에서는 DeepSeek V4.1 Flash를 파는 42곳 모두가 손해였고, 연구소 자체 가격은 최적 칩 원가의 1.4~9.2배였습니다. 같은 가중치는 같은 상품이 아니며, 오픈 모델은 출력 단가가 아니라 '내 작업 모양의 섞인 가격'과 라벨로 사야 합니다.

코어닷투데이87분

AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

특집AI 플랫폼LLM 서빙

2026.10.03

AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

2026년에 AI 플랫폼을 만든다는 것은 모델을 만드는 일이 아니라 모델 둘레의 일곱 층을 짓는 일입니다. 서빙, 게이트웨이, 컨텍스트·캐시, 에이전트 런타임, 도구·프로토콜, 평가·관측, 보안·거버넌스. 이 글은 10월 3일 기준의 가격표·저장소·사양·엔지니어링 블로그를 직접 확인해, 층마다 무엇을 사고 무엇을 지을지 정리했습니다. 특히 서빙은 '빌려 쓰기 대 직접 돌리기'가 아니라 일곱 단짜리 사다리로 풀었습니다. 같은 모델의 입력 단가가 호스트에 따라 23배 벌어지는 이유, GPU 임대료가 2년 만에 반등한 지금의 손익분기, 서버를 늘리면 오히려 느려지는 캐시 문제, 한 해 사이 주인이 바뀐 게이트웨이·관측 도구들, 그리고 서울 리전에서 최신 프런티어 모델을 '국내 처리'로 쓸 수 없는 현실까지 다룹니다. 계산기와 시뮬레이터 7개를 직접 움직여 볼 수 있습니다.

코어닷투데이86분