coredot.today
블로그로 돌아가기

#vLLM

10개의 포스트

[특집] '얼마나'가 아니라 '어디에' — 생각·구조·시간, 추론 예산을 나눠 쓰는 세 논문 (Gambit·MaAS·LAWA)
특집테스트 시간 컴퓨트추론 예산
2026.11.14

[특집] '얼마나'가 아니라 '어디에' — 생각·구조·시간, 추론 예산을 나눠 쓰는 세 논문 (Gambit·MaAS·LAWA)

같은 문제를 512번 풀게 하고 다수결을 냈는데 오답이 나왔다. 2026년 여름 프린스턴의 Gambit 논문은 이 장면에서 출발해 질문을 바꾼다. 계산을 얼마나 더 쓸지가 아니라 어디에 쓸지다. 이 글은 같은 질문에 서로 다른 단위로 답한 세 논문을 함께 읽는다. Gambit(arXiv 2608.08020)은 한 문제 안에서 GPU 메모리 칸을 유망한 풀이에 몰아주고, MaAS(arXiv 2502.04180, ICML 2025 구두 발표)는 질문마다 에이전트 팀의 크기를 다르게 뽑고, LAWA(arXiv 2610.14481, NeurIPS 2026)는 되풀이되는 질의의 가장 긴 줄을 깎는다. 1976년 음성 인식에서 태어난 빔 탐색이 왜 번역에서 밀려났다가 '생각 단위'로 돌아왔는지, 신경망 구조 탐색의 슈퍼넷이 에이전트로 건너오며 무엇이 바뀌었는지를 따라간 뒤, 세 논문을 부록과 표까지 검산한다. 헤드라인의 +3.3%는 30문항 중 한 문제이고, '엄격히 우세'는 15칸 중 11칸이며, MaAS 표의 토큰 수와 달러는 서로 맞지 않는다. 모의실험과 계산기 다섯 개, 논문 그림 열두 장을 함께 싣는다.

코어닷투데이103분
한 줄만 틀려도 버린다 — 뉴스 4만 7천 묶음을 읽힐 LLM, 7종 12가지 설정을 같은 검증기로 재다
AI 실험LLM 선택정보 추출
2026.11.10

한 줄만 틀려도 버린다 — 뉴스 4만 7천 묶음을 읽힐 LLM, 7종 12가지 설정을 같은 검증기로 재다

사실탐색기는 같은 사건을 다룬 기사 묶음 4만 7,300개에서 주장·시점·같은 사건 관계를 원문 인용과 함께 뽑아야 합니다. 어느 모델에 맡길지 정하려고 Claude 3종, DeepSeek Flash, Muse Spark, 무료 K-EXAONE, 사내 A100에 올린 Qwen3.8-27B까지 7종 12가지 설정을 같은 지시문과 같은 검증기로 쟀습니다. 검증기는 행 하나만 틀려도 이야기 전체를 거부합니다. 그래서 순위는 ‘통과하면 얼마나 잘하나’보다 ‘긴 이야기에서 끝까지 버티나’로 갈렸습니다. Claude Haiku 5.5는 7개를 모두 통과하며 기준 주장의 89%를 회수했습니다. DeepSeek·EXAONE·Qwen은 통과한 이야기에서는 72~88%를 회수하고도 긴 이야기를 거의 다 잃어, 판본에 남은 양이 14~29%였습니다. 지시문 한 줄은 Sonnet 5.5의 회수율을 34%에서 68%로 두 배 올렸지만 DeepSeek에는 독이 됐고, 생각 모드는 답 대신 생각만 남겼습니다. 무료와 할인의 조건, 사내 GPU로 돌리는 데 드는 시간, 주장 하나당 비용까지 정리했습니다. 위젯 3종, 코어닷투데이 실측, 삽화 6장.

코어닷투데이41분
말할수록 무거워지는 기억 — KV 캐시로 본 긴 대화의 비용, 2017년의 첫 캐시부터 GQA·페이지드 어텐션·MLA·어텐션 싱크까지 (특집)
특집KV 캐시KV cache
2026.11.07

말할수록 무거워지는 기억 — KV 캐시로 본 긴 대화의 비용, 2017년의 첫 캐시부터 GQA·페이지드 어텐션·MLA·어텐션 싱크까지 (특집)

챗봇과의 대화가 길어질수록 답이 느려지고 요금이 오르는 이유는 KV 캐시에 있다. 언어 모델은 한 토큰씩 글을 쓰는데, 앞서 읽은 모든 토큰의 ‘키(K)’와 ‘값(V)’을 메모리에 쌓아 두고 다시 꺼내 쓴다. 계산을 메모리와 맞바꾼 이 장치 덕분에 생성은 빨라졌지만, 대신 대화가 길어질수록 GPU 메모리를 정직하게 잡아먹는다. 이 글은 2017년 원조 트랜스포머 논문에는 없던 캐시가 석 달 뒤 구글 코드에 들어간 이야기에서 시작해, 헤드를 나눠 쓰는 MQA·GQA, 캐시를 압축해 담는 딥시크의 MLA, 운영체제의 가상 메모리를 빌려 온 페이지드 어텐션, 같은 앞부분을 재사용하는 프롬프트 캐싱, 캐시를 2비트로 줄이는 양자화, 그리고 모델이 첫 토큰을 ‘주의 하수구’로 쓴다는 어텐션 싱크까지 따라간다. 그리고 직접 쟀다. 사내 V100에서 Qwen3 0.6B~8B의 캐시 크기와 속도, 동시 사용자 한계, 앞부분 재사용 효과, 캐시 양자화, 창 크기 제한을 실험했고, 피티아의 학습 체크포인트를 거슬러 올라가 어텐션 싱크가 생기는 순간을 찾았다. 1.6만 토큰짜리 앞부분의 캐시를 재사용하자 Qwen3-8B의 첫 토큰이 54배 빨리 나왔다. 캐시를 4비트로 줄일 때 Qwen3는 키를 토큰별로 자르자 무너졌지만, 채널별로 자르면 멀쩡했다. 최근 토큰만 남기자 흔들리던 모델은 첫 토큰 하나를 붙잡아 두자 되살아났다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.

코어닷투데이59분
[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습
특집SemiAnalysis미드필
2026.10.30

[특집] 에이전트의 추론은 '미드필'이다 — 캐시 대 새 입력, 그리고 HBM 4단의 역습

코딩 에이전트의 추론은 '프리필 다음 디코드'가 아니라, 이미 캐시된 긴 앞부분에 짧은 새 입력을 붙이는 '미드필'의 반복입니다. 코어닷투데이 Claude Code 로그 6만 1,931번 호출을 세어 보니 입력의 97.8%가 캐시에서 왔고, 새 입력은 중앙값 1,711개로 캐시된 앞부분(중앙값 20만 1,917개)의 119분의 1이었습니다. 이런 일감에서는 HBM의 용량보다 대역폭과 KV를 옮기는 능력이 값을 정한다는 것이 SemiAnalysis의 주장이고, 그래서 Rubin Ultra는 GPU당 HBM을 288GB에서 192GB로 줄였으며 프런티어 연구소들은 4단 HBM을 원합니다. 공개 설정 파일과 공식 자료로 계산한 토큰당 KV는 모델마다 0.9kB에서 389kB까지 400배 넘게 벌어졌고, A100에서 vLLM으로 KV 예산을 줄여 본 실험은 '동시 사용자가 일정 수를 넘기 전까지는 아무 일도 없다'는 모양을 재현했습니다. 메모리 회사 입장의 계산은 유료 구간이라 추정하지 않고, 산수와 열린 질문만 정리했습니다.

코어닷투데이81분
[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'
특집SemiAnalysisClusterMAX
2026.10.30

[특집] GPU 시간당 가격은 거짓말을 한다 — 고장·보안·숨은 비용으로 다시 잰 'GPU 빌리기'

GPU를 빌릴 때 모두가 견주는 숫자는 'GPU 한 장 한 시간에 얼마'입니다. SemiAnalysis는 같은 시간당 가격에서도 총비용이 사전학습에서 1.00배·1.10배·1.15배로 갈리고, 그 차이의 대부분이 고장으로 날아가는 '굿풋' 손실(6.14%·10.53%·20.91%)이라고 계산했습니다. 반면 노드 하나짜리 추론은 수리에 8시간이 걸려도 손실이 0.5% 안팎이라, '추론은 싸게, 학습은 신뢰성을' 사야 합니다. 코어닷투데이는 SA의 공개 수식으로 계산기를 다시 만들어 세 시나리오 중 둘을 몇 달러 차이로 재현했고, 공개 수식 그대로면 실버 사전학습 손실이 48%까지 오른다는 점도 확인했습니다. 우리 A100 클러스터에서 기동 시간을 재다가, 엿새째 아무 알림 없이 꺼져 있던 GPU 한 장도 찾았습니다.

코어닷투데이73분
AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도
특집AI 플랫폼LLM 서빙
2026.10.03

AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

2026년에 AI 플랫폼을 만든다는 것은 모델을 만드는 일이 아니라 모델 둘레의 일곱 층을 짓는 일입니다. 서빙, 게이트웨이, 컨텍스트·캐시, 에이전트 런타임, 도구·프로토콜, 평가·관측, 보안·거버넌스. 이 글은 10월 3일 기준의 가격표·저장소·사양·엔지니어링 블로그를 직접 확인해, 층마다 무엇을 사고 무엇을 지을지 정리했습니다. 특히 서빙은 '빌려 쓰기 대 직접 돌리기'가 아니라 일곱 단짜리 사다리로 풀었습니다. 같은 모델의 입력 단가가 호스트에 따라 23배 벌어지는 이유, GPU 임대료가 2년 만에 반등한 지금의 손익분기, 서버를 늘리면 오히려 느려지는 캐시 문제, 한 해 사이 주인이 바뀐 게이트웨이·관측 도구들, 그리고 서울 리전에서 최신 프런티어 모델을 '국내 처리'로 쓸 수 없는 현실까지 다룹니다. 계산기와 시뮬레이터 7개를 직접 움직여 볼 수 있습니다.

코어닷투데이86분
모델 서빙 설계 가이드 2026 — 요청 하나의 여정으로 배우는 구조와 노하우
기술모델 서빙LLM 서빙
2026.10.03

모델 서빙 설계 가이드 2026 — 요청 하나의 여정으로 배우는 구조와 노하우

2026년 10월의 모델 서빙에서 엔진은 사실상 정해졌습니다(vLLM, SGLang). 설계의 승부는 엔진 바깥에서 납니다. 이 글은 요청 하나가 들어와 답이 나가기까지의 여정을 식당 운영에 빗대어 따라가며, 지금 통하는 설계와 그 근거를 정리합니다. 응답 시간을 대기·읽기·쓰기로 나눠 재는 법, 최대 처리량이 아니라 굿풋으로 용량을 세는 법, 엔진의 기본값(동시 처리 1,024개, 대기열 무제한)을 그대로 쓰면 안 되는 이유, 같은 대화를 같은 서버로 보내는 것만으로 처리량이 두 배가 되는 라우팅, 받을 수 없는 요청을 거절하는 입장 제어, GPU 사용률이 아닌 확장 신호, 수십 GB 모델의 콜드 스타트를 줄이는 방법, 세대별 양자화 선택, 그리고 규모별 구성까지. vLLM 0.30과 llm-d 0.10의 문서, 그리고 Together·Modal·Baseten·토스·네이버 등이 올해 공개한 운영 사례의 수치를 근거로 삼았습니다. 직접 움직여 보는 위젯 6개가 들어 있습니다.

코어닷투데이57분
넷플릭스는 왜 LLM을 직접 서빙하는가 (2부): vLLM과 Triton, 서빙 엔진을 해부하다
기술vLLMNVIDIA Triton
2026.07.29

넷플릭스는 왜 LLM을 직접 서빙하는가 (2부): vLLM과 Triton, 서빙 엔진을 해부하다

1부에서 '왜'를 봤다면 2부는 '어떻게'다. 넷플릭스 서빙 스택의 심장인 vLLM과 Triton을 뜯어본다. KV 캐시가 왜 메모리를 잡아먹는지, PagedAttention이 어떻게 그걸 운영체제의 페이징으로 해결했는지, 연속 배칭이 왜 처리량을 몇 배로 끌어올리는지 — 생소한 용어를 하나씩 그림으로 풀고, 넷플릭스가 TensorRT-LLM에서 vLLM으로 갈아탄 진짜 이유까지 따라간다.

코어닷투데이33분
넷플릭스는 왜 LLM을 직접 서빙하는가 (1부): '그냥 API 쓰면 되잖아'에 대한 대답
기술넷플릭스LLM 서빙
2026.07.28

넷플릭스는 왜 LLM을 직접 서빙하는가 (1부): '그냥 API 쓰면 되잖아'에 대한 대답

2026년 7월, 넷플릭스가 자사 LLM 서빙 스택을 공개했다. 요약하면 '우리는 OpenAI API를 쓰지 않는다. 모델 배포부터 추론까지 전 과정을 우리 손으로 굴린다'이다. 대부분의 회사가 API 한 줄로 끝내는 시대에, 넷플릭스는 왜 굳이 인프라를 통째로 짊어졌을까? 이 특집 1부는 그 '왜'를 추천 시스템의 역사부터 2026년 인퍼런스 경제학까지 따라가며 답한다.

코어닷투데이23분
추측 디코딩 완전 정복 — EAGLE-3, SSD, 그리고 LLM 추론 가속의 최전선
인사이트추측 디코딩Speculative Decoding
2025.12.27

추측 디코딩 완전 정복 — EAGLE-3, SSD, 그리고 LLM 추론 가속의 최전선

LLM은 왜 느린가? 98%의 시간을 메모리 전송에 낭비하기 때문이다. 추측 디코딩은 '작은 모델이 초안을 쓰고 큰 모델이 한꺼번에 검증'하여 출력 품질 손실 없이 2~6배 속도를 달성한다. EAGLE-3, Mirror-SD, Saguaro까지 — 2026년 LLM 추론 가속의 모든 것.

코어닷투데이26분