coredot.today
블로그로 돌아가기

#Kimi K3

5개의 포스트

파라미터는 크지만 계산은 일부만 — 전문가 혼합(MoE) 35년 (특집)
특집MoEMixture of Experts
2026.11.08

파라미터는 크지만 계산은 일부만 — 전문가 혼합(MoE) 35년 (특집)

<!--SUMMARY-->

코어닷투데이51분
[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습
특집SemiAnalysis미드필
2026.10.30

[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습

코딩 에이전트의 추론은 '프리필 다음 디코드'가 아니라, 이미 캐시된 긴 앞부분에 짧은 새 입력을 붙이는 '미드필'의 반복입니다. 코어닷투데이 Claude Code 로그 6만 1,931번 호출을 세어 보니 입력의 97.8%가 캐시에서 왔고, 새 입력은 중앙값 1,711개로 캐시된 앞부분(중앙값 20만 1,917개)의 119분의 1이었습니다. 이런 일감에서는 HBM의 용량보다 대역폭과 KV를 옮기는 능력이 값을 정한다는 것이 SemiAnalysis의 주장이고, 그래서 Rubin Ultra는 GPU당 HBM을 288GB에서 192GB로 줄였으며 프런티어 연구소들은 4단 HBM을 원합니다. 공개 설정 파일과 공식 자료로 계산한 토큰당 KV는 모델마다 0.9kB에서 389kB까지 400배 넘게 벌어졌고, A100에서 vLLM으로 KV 예산을 줄여 본 실험은 '동시 사용자가 일정 수를 넘기 전까지는 아무 일도 없다'는 모양을 재현했습니다. 메모리 회사 입장의 계산은 유료 구간이라 추정하지 않고, 산수와 열린 질문만 정리했습니다.

코어닷투데이81분
[특집] 같은 가중치, 10배 가격 — 오픈 모델을 사는 법
특집OpenRouter오픈 웨이트
2026.10.30

[특집] 같은 가중치, 10배 가격 — 오픈 모델을 사는 법

OpenRouter에 올라온 오픈 웨이트 모델 28개의 엔드포인트 518개를 내려받아 같은 모델의 가격을 나란히 놓았습니다. 출력 단가의 폭은 중앙값으로 2.8배, 입력 단가는 5배였고, GLM-5.3은 49개 엔드포인트 사이에서 채팅형 섞인 가격이 10.7배 벌어졌습니다. 가장 싼 공급자는 캐시 적중률과 입력:출력 비율에 따라 바뀌었고(DeepSeek V4.1 Flash는 채팅·RAG·에이전트에서 1등이 모두 달랐습니다), 가장 싼 가격 상당수에는 할인 표시와 미공개 양자화가 붙어 있었습니다. InferenceX 원가로 보면 모든 공급자 가격이 최신 칩에서는 남지만 H100·H200급에서는 DeepSeek V4.1 Flash를 파는 42곳 모두가 손해였고, 연구소 자체 가격은 최적 칩 원가의 1.4~9.2배였습니다. 같은 가중치는 같은 상품이 아니며, 오픈 모델은 출력 단가가 아니라 '내 작업 모양의 섞인 가격'과 라벨로 사야 합니다.

코어닷투데이87분
[특집] 반감기 3주 — 모델의 전성기도, 추론 원가도 3주면 반으로
특집OpenRouterInferenceX
2026.10.30

[특집] 반감기 3주 — 모델의 전성기도, 추론 원가도 3주면 반으로

OpenRouter 53주치 순위와 InferenceX 원가 이력을 다시 계산해 '시간'을 쟀습니다. 주간 상위 9에 든 모델 70개 가운데 들어왔다 나간 52개의 체류 중앙값은 3주였고, 모델 점유율은 정점에서 중앙값 2주 만에 반으로 줄었으며, 1위는 51주 동안 25번 바뀌었습니다. 원가도 비슷하게 빨랐습니다. 출시 첫 주부터 측정된 12칸에서 가장 싼 칩의 100만 토큰 원가가 반이 되기까지 중앙값 21일이 걸렸고, 칩을 바꾸지 않고 소프트웨어만으로도 B200 위의 Kimi K3는 95%, B300 위의 DeepSeek V4 Pro는 97% 내려갔습니다. AMD MI355X는 B200 대비 원가 배수가 중앙값 1.88배에서 1.16배로 따라왔지만, H100·H200 위의 원가는 중앙값으로 거의 움직이지 않았습니다. 출시 주에 벤치마크와 단가를 굳히지 말고, 달마다 다시 재고, 모델을 갈아 끼울 수 있게 만드는 것이 이 시장의 기본기입니다.

코어닷투데이80분
[특집] 토큰의 값어치 — SemiAnalysis 스물한 편으로 그린 2026년 10월 AI 모델 가치 지도
특집SemiAnalysis토크노믹스
2026.10.29

[특집] 토큰의 값어치 — SemiAnalysis 스물한 편으로 그린 2026년 10월 AI 모델 가치 지도

반도체·AI 인프라 분석사 SemiAnalysis가 2025년 7월부터 2026년 10월까지 낸 글 스물한 편의 공개 구간을 모두 읽고, 지금 어떤 모델이 어떤 값을 하는지를 다섯 개의 자로 다시 쟀습니다. 표값 $5/$25짜리 모델의 실제 단가는 100만 토큰당 1달러 안팎이었고, 월 200달러 요금제 하나에 API로 사면 1만 달러가 넘는 토큰이 들어 있었으며, 같은 공개 모델의 원가는 소프트웨어만 바꿔도 14분의 1이 됐습니다. 가치는 칩·전력·메모리를 거쳐 2026년에 모델 회사로 흘러들었고, 최상위 모델은 가격을 오히려 올릴 힘을 얻었습니다. 오픈 모델은 프론티어의 값을 깎는 대신 '가격의 바닥'과 '하드웨어 경쟁의 무대'라는 다른 값을 갖게 됐습니다. 숫자마다 출처와 측정 조건을 달고, 위젯 다섯 개로 직접 계산해 볼 수 있게 했습니다.

코어닷투데이83분