기술
250개의 포스트
넷플릭스는 왜 LLM을 직접 서빙하는가 (3부): 제약 디코딩, 규모의 벽을 넘다
이 특집의 클라이맥스. 넷플릭스는 모델이 '아마도 유효한' JSON을 뱉고 나서 검사하는 대신, 애초에 규칙을 어길 수 없도록 생성 과정 자체를 제약한다. 이 제약 디코딩이 왜 필요하고 어떻게 작동하는지, 그리고 그것을 '규모'에서 돌리려다 vLLM V0의 GIL 벽에 부딪혀 V1으로 넘어간 넷플릭스의 실전 분투기를 따라간다. 직접 서빙해야만 가능한, 커스터마이징의 끝판왕.
실리콘 뇌가 깨어난다 — GPU가 태우는 전기의 250분의 1로, 뉴로모픽 컴퓨팅이 실험실을 나오다
2026년, AI 데이터센터는 지구 전기의 약 2%(500 TWh 이상)를 삼킨다. 전력망은 이 속도를 못 따라간다. 근본 원인은 놀랍게도 1945년에 정해진 76년 된 설계 결함 — 폰 노이만 병목이다. 기억과 계산을 따로 두고 그 사이로 데이터를 쉴 새 없이 실어 나르느라 전기가 타는 것이다. 인간의 뇌는 같은 문제를 20와트로 푼다. 기억과 계산을 한 곳에 두고, 필요할 때만 '스파이크'로 발화하기 때문이다. 이 글은 뇌의 설계를 실리콘에 옮긴 뉴로모픽 컴퓨팅을 폰 노이만 병목부터 스파이킹 신경망(SNN)·인메모리 컴퓨팅까지 쉽게 풀고, 2026년 실험실을 나온 Intel Loihi 3(GPU의 250분의 1 전력)·IBM NorthPole·BrainChip Akida의 실물 성적과 그 한계까지 짚는다.
넷플릭스는 왜 LLM을 직접 서빙하는가 (2부): vLLM과 Triton, 서빙 엔진을 해부하다
1부에서 '왜'를 봤다면 2부는 '어떻게'다. 넷플릭스 서빙 스택의 심장인 vLLM과 Triton을 뜯어본다. KV 캐시가 왜 메모리를 잡아먹는지, PagedAttention이 어떻게 그걸 운영체제의 페이징으로 해결했는지, 연속 배칭이 왜 처리량을 몇 배로 끌어올리는지 — 생소한 용어를 하나씩 그림으로 풀고, 넷플릭스가 TensorRT-LLM에서 vLLM으로 갈아탄 진짜 이유까지 따라간다.
넷플릭스는 왜 LLM을 직접 서빙하는가 (1부): '그냥 API 쓰면 되잖아'에 대한 대답
2026년 7월, 넷플릭스가 자사 LLM 서빙 스택을 공개했다. 요약하면 '우리는 OpenAI API를 쓰지 않는다. 모델 배포부터 추론까지 전 과정을 우리 손으로 굴린다'이다. 대부분의 회사가 API 한 줄로 끝내는 시대에, 넷플릭스는 왜 굳이 인프라를 통째로 짊어졌을까? 이 특집 1부는 그 '왜'를 추천 시스템의 역사부터 2026년 인퍼런스 경제학까지 따라가며 답한다.
AWS 인프라 구성도 실무 가이드 (Part 5): 도구·시각 디자인·평가 — 구성도를 팀 표준으로 만들기
개인기로 그린 구성도는 그 사람이 나가면 끝난다. 2026년 기준 도구 9종 비교, 16:9 슬라이드 영역 배분과 글자 크기 하한, 범례·메타데이터 표준, /architecture 파일 구조와 ADR, 그리고 100점 평가표로 3부의 완성본을 실제 채점한다.
AWS 인프라 구성도 실무 가이드 (Part 4): AWS에서 가장 많이 틀리는 배치, 그리고 레퍼런스 읽는 법
S3 버킷은 서브넷 안에 없다. Lambda는 고객 VPC에서 실행되지 않는다. 그림이 읽히는 것과 맞는 것은 다른 문제다. 배치 오류 다섯 가지를 바로잡고, AWS 공식 레퍼런스 수십 장이 수렴하는 여섯 가지 레이아웃 패턴과 생성형 AI 수명주기 축까지 정리한다.
AWS 인프라 구성도 실무 가이드 (Part 3): draw.io를 열기 전에 — Architecture Brief와 7단계
툴을 먼저 열면 요구사항이 아니라 익숙한 AWS 서비스에 설계를 끼워 맞추게 된다. 그리기 전에 작성하는 Architecture Brief 16항목, 그리고 기능 블록에서 시작해 아이콘 감량으로 끝나는 7단계. 1부에서 예고한 '같은 사업, 다르게 그린 한 장'의 완성본이 여기서 나온다.
AWS 인프라 구성도 실무 가이드 (Part 2): 한 장 말고 여섯 장 — 제안서 구성도 세트 설계
종합 구성도 한 장으로 모든 독자를 만족시키려는 시도는 반드시 실패한다. 실패의 원인은 욕심이 아니라 줌 레벨이 섞였기 때문이다. C4 모델로 확대 수준을 정하고, arc42로 누락을 점검하고, 제안서에 들어갈 6장 세트를 설계한다.
AWS 인프라 구성도 실무 가이드 (Part 1): 왜 당신의 구성도는 '아이콘 수프'가 되는가
신입에게 draw.io를 열게 하면 100% 같은 일이 벌어진다. AWS 아이콘부터 깔아놓는다. 서비스 26개와 화살표 47개가 빽빽한 그 그림은 60초 테스트 7문항 중 단 하나도 답하지 못한다. 코어닷투데이가 신입에게 인프라 구성도를 가르치는 사내 표준을 5부작으로 공개한다.
프롬프트 엔지니어링 실전 매뉴얼: 이 글 하나로 끝내는 68쪽 백서 완전 해설
구글이 낸 68쪽짜리 프롬프트 엔지니어링 백서를, 개념이 왜 생겼는지부터 오늘 당장 쓰는 법까지 풀어 정리했습니다. Temperature·Top-K·Top-P가 실제로 무슨 일을 하는지, 예시 하나가 왜 문장 열 줄보다 강한지, 프롬프트를 코드처럼 관리한다는 게 무슨 뜻인지 — 인터랙티브 실험실 4개와 함께 직접 만져보며 이해할 수 있게 만들었습니다.
ChatGPT는 어떻게 출처를 고르는가 — 네트워크 트래픽을 뜯어본 특집
한 연구자가 ChatGPT의 화면이 아니라 '네트워크 트래픽'을 열어봤다. 거기서 result_source, turn_use_case, fan-out 같은 내부 필드들이 튀어나왔다. AI가 무엇을 읽고, 무엇을 인용하고, 무엇을 아예 무시하는지 — 열 개의 파란 링크가 하나의 답변으로 접히는 시대에, '출처로 뽑히는 법'의 실제 작동 원리를 역사·논문·아키텍처까지 파고들어 쉽게 풀었다.
‘작동 원리를 아는 마지막 사람들’ — 추상화의 탑, 그리고 아무도 다 모르게 된 맨 위층
2026년 6월, ‘우리는 작동 원리를 아는 마지막 사람들’이라는 에세이 한 편이 개발자 세계를 뒤흔들었습니다. 단순한 향수일까요, 아니면 정말 이번엔 다른 걸까요? 1990년대의 autoexec.bat부터 트랜스포머 아키텍처, 그리고 ‘만든 게 아니라 길러낸’ AI의 내부까지 — ‘안다는 것’의 역사를 추상화의 탑을 한 층씩 내려가며 쉽고 재미있게 풀어드립니다.