기술제약 디코딩constrained decoding
2026.07.30넷플릭스는 왜 LLM을 직접 서빙하는가 (3부): 제약 디코딩, 규모의 벽을 넘다
이 특집의 클라이맥스. 넷플릭스는 모델이 '아마도 유효한' JSON을 뱉고 나서 검사하는 대신, 애초에 규칙을 어길 수 없도록 생성 과정 자체를 제약한다. 이 제약 디코딩이 왜 필요하고 어떻게 작동하는지, 그리고 그것을 '규모'에서 돌리려다 vLLM V0의 GIL 벽에 부딪혀 V1으로 넘어간 넷플릭스의 실전 분투기를 따라간다. 직접 서빙해야만 가능한, 커스터마이징의 끝판왕.
