#HBM

6개의 포스트

2026.10.30

[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습

코딩 에이전트의 추론은 '프리필 다음 디코드'가 아니라, 이미 캐시된 긴 앞부분에 짧은 새 입력을 붙이는 '미드필'의 반복입니다. 코어닷투데이 Claude Code 로그 6만 1,931번 호출을 세어 보니 입력의 97.8%가 캐시에서 왔고, 새 입력은 중앙값 1,711개로 캐시된 앞부분(중앙값 20만 1,917개)의 119분의 1이었습니다. 이런 일감에서는 HBM의 용량보다 대역폭과 KV를 옮기는 능력이 값을 정한다는 것이 SemiAnalysis의 주장이고, 그래서 Rubin Ultra는 GPU당 HBM을 288GB에서 192GB로 줄였으며 프런티어 연구소들은 4단 HBM을 원합니다. 공개 설정 파일과 공식 자료로 계산한 토큰당 KV는 모델마다 0.9kB에서 389kB까지 400배 넘게 벌어졌고, A100에서 vLLM으로 KV 예산을 줄여 본 실험은 '동시 사용자가 일정 수를 넘기 전까지는 아무 일도 없다'는 모양을 재현했습니다. 메모리 회사 입장의 계산은 유료 구간이라 추정하지 않고, 산수와 열린 질문만 정리했습니다.

코어닷투데이81분

[특집] 입력 토큰 경제 — OpenRouter 1년치 기록으로 본 AI 시장의 체질 변화

특집OpenRouter토큰 경제학

2026.10.30

[특집] 입력 토큰 경제 — OpenRouter 1년치 기록으로 본 AI 시장의 체질 변화

OpenRouter가 공개한 53주치 순위 기록을 내려받아 다시 계산했습니다. 1년 사이 처리 토큰은 32배, 요청 수는 9.5배 늘었고, 요청 한 건의 평균 길이는 5,930토큰에서 20,037토큰으로 3.4배가 됐습니다. 지난주 시장 전체의 입력:출력 비율은 39:1이었습니다. Anthropic의 토큰 점유율은 16.2%에서 8.6%로 반 토막 났지만 요청 점유율은 4.4%에서 4.2%로 거의 그대로였고, 지출 점유율은 36.5%로 토큰 점유율의 네 배가 넘었습니다. 토큰 점유율, 요청 점유율, 매출은 서로 다른 세 개의 자이며, 지금 AI 시장은 '얼마나 쓰나'보다 '얼마나 읽나'로 움직이는 입력 토큰 경제가 됐습니다.

코어닷투데이84분

[특집] 모든 것의 사이클 — a16z 「State of Markets II」 90장 정독: 빅테크의 현금은 반도체로, GPU는 늙어도 비싸지고, SaaS는 '증명해 봐'를 듣는다

특집a16zState of Markets

2026.10.10

[특집] 모든 것의 사이클 — a16z 「State of Markets II」 90장 정독: 빅테크의 현금은 반도체로, GPU는 늙어도 비싸지고, SaaS는 '증명해 봐'를 듣는다

2026년 9월 30일, 실리콘밸리 벤처캐피털 a16z가 90장짜리 차트 묶음 「State of Markets II」를 내놓았다. 핵심 문장은 다섯 개다. 테크는 더 이상 한 업종이 아니라 경기 그 자체인 '모든 것의 사이클'이 됐고, 올해 S&P 500 이익 증가분의 76%를 테크가 만들었다. 빅테크가 데이터센터에 쏟는 7,770억 달러는 그들의 잉여현금흐름을 반도체 회사의 잉여현금흐름으로 바꿔 놓았다. '3년이면 고철'이라던 GPU는 오히려 임대료가 올랐다. 그런데도 AI 도입은 넓지만 얕다 — 기업 열에 일곱이 AI를 쓴다지만 성과를 지표로 추적하는 곳은 2%뿐이다. 그리고 연초의 'SaaS 종말론'은 종말이 아니라 '증명해 봐'였다. 1865년 제번스의 석탄 문제부터 1840년대 철도 광풍과 2000년 광섬유 거품, 카를로타 페레스의 기술 혁명 이론, 회계의 감가상각과 할인현금흐름까지 — 이 보고서를 읽는 데 필요한 개념을 처음부터 풀고, 차트 서른 장을 하나씩 읽으며, 반론과 한국 시장의 시선까지 함께 정리했다. 인터랙티브 여섯 개로 직접 계산해 볼 수 있다.

코어닷투데이115분

[특집] AI의 청구서는 누가 내나 — 장부 밖 약속, 3년 만의 금리 인상, 그리고 수출의 절반이 된 반도체

특집특집AI 투자

2026.10.03

[특집] AI의 청구서는 누가 내나 — 장부 밖 약속, 3년 만의 금리 인상, 그리고 수출의 절반이 된 반도체

2026년 9월 한국 수출이 처음으로 월 1,200억 달러를 넘었고, 그 절반이 반도체였습니다. 같은 달 미국 연준은 3년 만에 금리를 올렸고, 영란은행 총재는 'AI 붐이 시장 충격을 부를 수 있다'고 경고했습니다. 이 두 장면은 하나의 사슬로 이어져 있습니다. 실리콘밸리 빅테크가 올해 AI 데이터센터에 쓰는 7,000억 달러 넘는 돈은 이제 번 돈만으로 감당되지 않아, 주식·회사채·리스·보증으로 메워지고 있습니다. 공시에 적힌 장부 밖 약속, 회계 기준 변경으로 '줄어든' 설비투자, 한 분기 만에 두 배가 된 엔비디아의 메모리 약정, 그리고 그 끝에서 코스피 시가총액의 57%를 차지하게 된 두 반도체 회사까지 — 공시와 공식 통계로 'AI의 청구서'를 따라가고, 앞으로 지켜볼 숫자 일곱 개로 정리합니다.

코어닷투데이26분

GPU 고르는 법 2026 — A100·H100·L40S·B200, 이름만 봐도 아는 엔비디아 GPU 가이드

기술GPUNVIDIA

2026.10.03

GPU 고르는 법 2026 — A100·H100·L40S·B200, 이름만 봐도 아는 엔비디아 GPU 가이드

"H100이 좋다던데 우리도 그걸 사면 되나요?" GPU 상담에서 가장 많이 듣는 질문입니다. 이 글은 엔비디아 GPU를 차 고르듯 고를 수 있게 정리했습니다. A100의 A, H100의 H, L40S의 L이 무엇의 약자인지(과학자 이름입니다), 연산용 혈통과 그래픽 겸용 혈통이 어떻게 다른지, 제원표에서 봐야 할 숫자 네 개(메모리·대역폭·연결·전력)가 각각 무엇을 정하는지, 그리고 Ampere·Hopper·Ada Lovelace·Blackwell·Rubin 세대의 대표 제품을 언제 고르고 언제 피해야 하는지를 다룹니다. DGX가 GPU 이름이 아니라는 것, 서버를 사 놓고 놓을 자리가 없어지는 이유, 살지 빌릴지의 기준까지. 직접 눌러 보는 이름 해독기, 메모리 계산기, 전력 계산기, GPU 추천기 등 위젯 6개가 들어 있습니다.

코어닷투데이61분

AI를 국경에서 멈춰 세우다 — 칩, 가중치, 그리고 2026년 AI 수출통제

특집AI 수출통제반도체 규제

2026.07.01

AI를 국경에서 멈춰 세우다 — 칩, 가중치, 그리고 2026년 AI 수출통제

냉동 랍스터 밑에 숨긴 GPU, 가짜 임신복 속의 칩, 하루 만에 증발한 6천억 달러. AI 수출통제라는 낯선 단어 뒤에는 냉전에서 시작된 70년의 계보와, '무기가 파일이 되는' 시대의 새로운 질문이 있다. 왜 칩이 급소가 됐고, 왜 이번엔 모델 자체를 막으려 했으며, 그 사이에서 한국은 어디에 서 있는가.

코어닷투데이27분