#SemiAnalysis
5개의 포스트
![[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fmfh-cover.webp&w=3840&q=75)
[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습
코딩 에이전트의 추론은 '프리필 다음 디코드'가 아니라, 이미 캐시된 긴 앞부분에 짧은 새 입력을 붙이는 '미드필'의 반복입니다. 코어닷투데이 Claude Code 로그 6만 1,931번 호출을 세어 보니 입력의 97.8%가 캐시에서 왔고, 새 입력은 중앙값 1,711개로 캐시된 앞부분(중앙값 20만 1,917개)의 119분의 1이었습니다. 이런 일감에서는 HBM의 용량보다 대역폭과 KV를 옮기는 능력이 값을 정한다는 것이 SemiAnalysis의 주장이고, 그래서 Rubin Ultra는 GPU당 HBM을 288GB에서 192GB로 줄였으며 프런티어 연구소들은 4단 HBM을 원합니다. 공개 설정 파일과 공식 자료로 계산한 토큰당 KV는 모델마다 0.9kB에서 389kB까지 400배 넘게 벌어졌고, A100에서 vLLM으로 KV 예산을 줄여 본 실험은 '동시 사용자가 일정 수를 넘기 전까지는 아무 일도 없다'는 모양을 재현했습니다. 메모리 회사 입장의 계산은 유료 구간이라 추정하지 않고, 산수와 열린 질문만 정리했습니다.
![[특집] 에이전트가 CPU를 먹는다 — GPU 한 장에 CPU 몇 개? 코딩 에이전트로 재 본 대기 시간](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Faec-cover.webp&w=3840&q=75)
[특집] 에이전트가 CPU를 먹는다 — GPU 한 장에 CPU 몇 개? 코딩 에이전트로 재 본 대기 시간
2026년 프런티어 연구소들은 강화학습에 쓸 CPU가 바닥나 클라우드 회사와 범용 서버를 놓고 다투고 있고, Microsoft의 OpenAI용 Fairwater 데이터센터는 295MW GPU 클러스터 옆에 48MW CPU·스토리지 건물을 붙였습니다(전력 약 1:6). 코어닷투데이가 Claude Code 로그 26일치(모델 응답 6만 2,600번, 도구 호출 7만 7,197번)를 세어 보니 메인 세션 활성 시간의 42%가 도구를 기다리는 시간이었고, 10초 넘는 도구 호출 8.6%가 도구 시간의 83%를 만들었습니다. 맥 한 대에서 로컬 모델로 코딩 에이전트를 돌려 테스트 수를 50개에서 6,410개로 늘리자 모델 시간은 그대로인데 모델 1초당 CPU초가 0.09에서 8.37로 커졌고, 병렬 실행은 기다림을 줄였을 뿐 CPU초를 줄이지 못했습니다. 이 비율로 계산하면 GPU 한 장 옆에 필요한 CPU 코어는 일감에 따라 10개 안팎에서 수백 개까지 벌어지며, 그 식과 계산기, 2026년 CPU 열 종의 정리를 함께 실었습니다.
![[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fgpl-cover.webp&w=3840&q=75)
[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'
GPU를 빌릴 때 모두가 견주는 숫자는 'GPU 한 장 한 시간에 얼마'입니다. SemiAnalysis는 같은 시간당 가격에서도 총비용이 사전학습에서 1.00배·1.10배·1.15배로 갈리고, 그 차이의 대부분이 고장으로 날아가는 '굿풋' 손실(6.14%·10.53%·20.91%)이라고 계산했습니다. 반면 노드 하나짜리 추론은 수리에 8시간이 걸려도 손실이 0.5% 안팎이라, '추론은 싸게, 학습은 신뢰성을' 사야 합니다. 코어닷투데이는 SA의 공개 수식으로 계산기를 다시 만들어 세 시나리오 중 둘을 몇 달러 차이로 재현했고, 공개 수식 그대로면 실버 사전학습 손실이 48%까지 오른다는 점도 확인했습니다. 우리 A100 클러스터에서 기동 시간을 재다가, 엿새째 아무 알림 없이 꺼져 있던 GPU 한 장도 찾았습니다.
![[특집] 로봇의 뇌는 어디에 두나 — 7대의 교차점, 그리고 와이파이 지터](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Frbw-cover.webp&w=3840&q=75)
[특집] 로봇의 뇌는 어디에 두나 — 7대의 교차점, 그리고 와이파이 지터
SemiAnalysis는 로봇 96대를 놓고 '로봇마다 Jetson Thor를 다는 길'과 'B300 한 장을 여러 대가 나눠 쓰는 길'을 비교해, GPU 한 장에 5~7대가 넘으면 비용·실리콘·DRAM 모두 공유 쪽이 이긴다고 계산했습니다. 그러나 가동률 반영 전 시간당 비용은 오히려 온보드가 쌌고($14.97 대 $18.63), 판을 뒤집은 것은 '서버 90%·로봇 칩 40%'라는 가동률 가정이었습니다. 코어닷투데이가 같은 표를 '일한 로봇 한 시간'으로 다시 재면 46%가 아니라 55%였습니다. 사무실에서 20ms 간격으로 잰 왕복 시간은 유선이 p99 1ms 안팎으로 늘 같았지만, 와이파이는 첫 2분에 p99.9 1.25초를 찍었다가 30분 뒤에는 93ms, 이어진 10분 동안은 27ms로 조용했습니다. 로봇의 뇌를 어디에 둘지는 평균 지연이 아니라 언제 올지 모르는 이 꼬리가 정합니다.
![[특집] 토큰의 값어치 — SemiAnalysis 스물한 편으로 그린 2026년 10월 AI 모델 가치 지도](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fsmv-cover.webp&w=3840&q=75)
[특집] 토큰의 값어치 — SemiAnalysis 스물한 편으로 그린 2026년 10월 AI 모델 가치 지도
반도체·AI 인프라 분석사 SemiAnalysis가 2025년 7월부터 2026년 10월까지 낸 글 스물한 편의 공개 구간을 모두 읽고, 지금 어떤 모델이 어떤 값을 하는지를 다섯 개의 자로 다시 쟀습니다. 표값 $5/$25짜리 모델의 실제 단가는 100만 토큰당 1달러 안팎이었고, 월 200달러 요금제 하나에 API로 사면 1만 달러가 넘는 토큰이 들어 있었으며, 같은 공개 모델의 원가는 소프트웨어만 바꿔도 14분의 1이 됐습니다. 가치는 칩·전력·메모리를 거쳐 2026년에 모델 회사로 흘러들었고, 최상위 모델은 가격을 오히려 올릴 힘을 얻었습니다. 오픈 모델은 프론티어의 값을 깎는 대신 '가격의 바닥'과 '하드웨어 경쟁의 무대'라는 다른 값을 갖게 됐습니다. 숫자마다 출처와 측정 조건을 달고, 위젯 다섯 개로 직접 계산해 볼 수 있게 했습니다.