#ClusterMAX

[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'

GPU를 빌릴 때 모두가 견주는 숫자는 'GPU 한 장 한 시간에 얼마'입니다. SemiAnalysis는 같은 시간당 가격에서도 총비용이 사전학습에서 1.00배·1.10배·1.15배로 갈리고, 그 차이의 대부분이 고장으로 날아가는 '굿풋' 손실(6.14%·10.53%·20.91%)이라고 계산했습니다. 반면 노드 하나짜리 추론은 수리에 8시간이 걸려도 손실이 0.5% 안팎이라, '추론은 싸게, 학습은 신뢰성을' 사야 합니다. 코어닷투데이는 SA의 공개 수식으로 계산기를 다시 만들어 세 시나리오 중 둘을 몇 달러 차이로 재현했고, 공개 수식 그대로면 실버 사전학습 손실이 48%까지 오른다는 점도 확인했습니다. 우리 A100 클러스터에서 기동 시간을 재다가, 엿새째 아무 알림 없이 꺼져 있던 GPU 한 장도 찾았습니다.