AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

크게 보기

들어가며: 모델은 빌리고, 플랫폼은 짓는다

2026년 가을, AI 제품을 만드는 팀의 고민은 "어떤 모델을 쓸까"에서 "모델 둘레를 어떻게 지을까"로 옮겨 갔습니다. 데이터독이 4월에 낸 보고서를 보면 기업 열 곳 중 일곱 곳(69%)이 모델을 세 개 이상 함께 씁니다. 모델 하나를 골라 붙이면 끝나던 시절은 지났고, 여러 모델을 갈아 끼우면서도 서비스가 흔들리지 않게 하는 구조가 필요해졌습니다. 그 구조가 이 글에서 말하는 AI 플랫폼입니다.

이번 기획은 그 플랫폼을 실제로 짓는 사람의 눈으로 정리했습니다. 올해 나온 엔지니어링 블로그와 사양 문서, 가격표, 저장소 상태를 2026년 10월 3일 기준으로 직접 확인했고, 직접 확인하지 못한 수치는 '보도'나 '사업자 발표'라고 적었습니다. 전사 업무용 AIP 제품 비교는 AIP 경쟁 시대에서, 서빙 엔진의 내부 동작은 넷플릭스 LLM 서빙 3부작에서 이미 다뤘으니, 이 글은 짓는 순서와 판단 기준에 집중합니다.

1. 지도: 모델 바깥의 일곱 층

AI 플랫폼을 건물에 비유하면, 파운데이션 모델은 땅속의 발전기입니다. 대부분의 회사는 발전기를 직접 만들지 않습니다. 빌리거나(API), 받아 와서 돌립니다(오픈 웨이트). 회사가 실제로 짓는 것은 그 위의 일곱 층입니다.

층을 나누는 이유는 층마다 사서 쓸지 지을지의 답이 다르기 때문입니다. 올해 공개된 사내 플랫폼 사례들을 겹쳐 보면 공통점이 보입니다.

다섯 회사 모두 모델 자체에 대한 이야기는 거의 하지 않습니다. 이야기의 중심은 게이트웨이, 템플릿, 샌드박스, 도구 설명문, 평가 엔드포인트입니다. 그랩의 한 문장이 이 글 전체의 요약입니다. 에이전트의 '생각하는 부분'은 반나절이면 만들고, 나머지 2주가 플랫폼입니다.

이제 가장 아래층, 서빙부터 올라가겠습니다. 이번 기획에서 가장 공을 들인 부분입니다.

2. 서빙 ①: '빌릴까 직접 돌릴까'가 아니라 일곱 단 사다리

크게 보기

서빙(serving)은 학습이 끝난 모델을 실제 요청에 응답하게 만드는 일입니다. 흔히 "API를 쓸까, 직접 서빙할까"로 묻지만, 2026년의 시장은 그 사이에 다섯 단이 더 있습니다. 전기에 비유하면 콘센트에 꽂아 쓰는 것과 발전소를 짓는 것 사이에 발전기 대여, 전용 회선, 자가 발전 같은 선택지가 있는 것과 같습니다.

위로 올라갈수록 토큰당 단가는 내려갈 수 있지만 맡는 일이 늘어납니다. 아래 위젯에서 조건을 바꿔 보면 추천되는 단이 어떻게 움직이는지 볼 수 있습니다.

이 시장에 돈이 얼마나 몰렸는지도 짚어 둘 만합니다. Fireworks는 7월에 15억 달러 넘는 시리즈 D를 마쳤고(기업가치 175억 달러), 웨이퍼 크기 칩으로 추론 속도를 내세운 Cerebras는 5월에 나스닥에 상장했습니다. 엔비디아는 2025년 말 Groq의 기술을 약 200억 달러 규모로 알려진 계약으로 라이선스하고 핵심 인력을 데려갔고, vLLM과 SGLang을 만든 사람들은 각자 회사를 세워 투자를 받았다고 보도됐습니다. Cloudflare는 Replicate를 인수하겠다고 발표했고, Nebius는 10월 1일에 콜드 스타트 전문 스타트업을 인수했습니다. 2026년의 AI 인프라 투자는 학습이 아니라 추론, 곧 서빙으로 향하고 있습니다.

3. 서빙 ②: 같은 모델, 23배 다른 값

크게 보기

③번 단, 오픈 모델 토큰 과금 시장에는 독특한 성질이 있습니다. 같은 모델을 수십 곳이 팔고, 값과 속도가 제각각입니다. 10월 3일 OpenRouter의 엔드포인트 목록에서 GLM-5.3 하나를 조회하면 엔드포인트 40개가 나옵니다. 100만 토큰당 입력 단가는 최저 0.12달러에서 최고 2.80달러로 23배 차이가 납니다.

표 오른쪽 두 열은 이 글에서 직접 계산한 값입니다. 여기서 중요한 사실이 하나 드러납니다. 가장 싼 호스트는 작업의 모양에 따라 바뀝니다. 입력과 출력이 3대 1인 일반 대화에서는 Novita가 가장 싸지만, 입력이 출력의 100배쯤 되는 에이전트 작업에서는 입력을 0.12달러에 파는 호스트가 Novita보다 2.7배 쌉니다. 출력 단가가 4달러로 높아도, 출력이 워낙 적어 문제가 되지 않습니다. 단가표를 볼 때는 우리 서비스의 입력 대 출력 비를 먼저 재야 합니다(프롬프트 캐시 할인은 이 계산에서 뺐습니다).

속도도 값만큼 벌어집니다. Artificial Analysis가 같은 날 집계한 GLM-5.3의 초당 출력 토큰입니다.

모델을 만든 회사의 API가 가장 느리고, 같은 정가를 받는 Fireworks가 세 배 넘게 빠릅니다. 전용 칩 진영은 한 단계 더 나아가서, gpt-oss-120b 기준으로 Cerebras가 초당 약 1,780토큰, SambaNova 709토큰, Groq 471토큰을 냅니다.

여기서 플랫폼 설계자가 가져갈 것은 세 가지입니다.

첫째, 양자화가 다르면 같은 모델이 아닙니다. 표의 괄호에 적힌 fp4, fp8은 가중치를 몇 비트로 줄였는지를 뜻합니다. 목록 40개 가운데 상당수는 양자화 방식을 밝히지 않았습니다. 싼 호스트로 옮길 때는 값만 보지 말고 우리 평가 세트를 그 호스트에서 다시 돌려야 합니다.

둘째, 속도는 이제 돈으로 사는 등급입니다. 주요 사업자가 모두 같은 모델을 여러 속도·가격으로 팝니다.

가장 빠른 등급과 가장 느린 등급의 가격 차는 같은 모델 안에서 3.5~4배입니다. 사람이 기다리는 요청과 밤에 돌려도 되는 요청을 구분해 등급을 나눠 보내는 것만으로, 모델을 바꾸지 않고 비용 구조를 바꿀 수 있습니다. 이 구분을 하는 곳이 뒤에서 다룰 게이트웨이입니다.

셋째, 클라우드의 경계가 흐려졌습니다. 7월부터 OpenAI 모델이 Amazon Bedrock에서 제공되고, Claude는 Bedrock·Google Cloud·Microsoft Foundry에 모두 올라가 있습니다. 어느 클라우드를 쓰느냐가 어느 모델을 쓰느냐를 결정하던 구도가 풀렸습니다. 대신 같은 모델이라도 경로에 따라 운영 주체와 기능이 다릅니다. 예를 들어 Anthropic의 Fast mode는 자사 API에서만 제공됩니다. '어느 모델'만큼 '어느 경로'가 중요한 선택이 됐습니다.

4. 서빙 ③: 토큰으로 살까, GPU를 빌릴까

크게 보기

사다리의 ③에서 ④ 이상으로 올라가는 결정, 곧 토큰 과금에서 GPU 시간 과금으로 넘어가는 결정은 계산으로 풀 수 있습니다. 먼저 10월 3일 각 사 가격표의 GPU 한 장 시간당 온디맨드 가격입니다.

같은 H100이 시간당 2.89달러에서 8달러까지 있습니다. 차이는 무엇이 포함돼 있느냐입니다. ⑥은 기계만 줍니다. ④는 최적화된 엔진, 자동 확장, 장애 대응까지 포함한 값입니다. 두 배 가까운 차이는 운영 인력의 값이라고 읽으면 됩니다.

그리고 올해의 반전이 있습니다. GPU 임대료가 올랐습니다. SemiAnalysis의 H100 1년 약정 지수는 2025년 10월 1.70달러에서 2026년 3월 2.35달러로 약 40% 올랐고, Nebius는 10월 1일에 H100 정가를 3.85달러에서 4.50달러로 올렸습니다. 2년 동안 내리기만 하던 값이 반등한 것입니다. 에이전트가 토큰 수요를 끌어올렸기 때문입니다(제번스의 역설과 추론 경제학 참고). "GPU는 계속 싸지니 기다리면 된다"는 전제로 세운 계획은 다시 계산해야 합니다.

이제 손익분기를 직접 셈해 보겠습니다.

기본값으로 셈하면 이렇습니다. H100 한 장을 시간당 4달러에 빌리면 한 달 2,920달러입니다. 이 GPU가 초당 3,000토큰을 처리한다고 가정하면 하루 최대 2억 5,900만 토큰, 한 달 약 79억 토큰입니다. 같은 양을 100만 토큰당 0.60달러에 사면 4,730달러입니다. 그러므로 GPU를 62% 이상 채워야 본전입니다. 여기에 이중화용 두 번째 GPU와 운영 인건비를 넣으면 문턱은 더 올라갑니다.

문제는 사용률입니다. 업무 시간에만 쓰는 사내 서비스는 하루 24시간 중 8시간만 붐비고, 피크에 맞춰 GPU를 잡아 두면 평균 사용률은 10~20%에 머뭅니다. 이 구간에서는 토큰 과금이 이깁니다.

비용 말고 사다리를 오르는 이유가 둘 더 있습니다. 하나는 통제입니다. 직접 미세조정한 모델, 여러 LoRA 어댑터, 형식을 강제하는 제약 디코딩처럼 엔진 설정을 건드려야 하는 경우입니다. 다른 하나는 데이터입니다. 이 부분은 11장에서 따로 다룹니다.

5. 서빙 ④: 직접 돌린다면 — 엔진은 정해졌고, 승부는 라우팅에서 난다

⑥번 단 이상으로 올라가기로 했다면 무엇으로 돌릴지 정해야 합니다. 2026년 가을의 지형은 한 해 전보다 훨씬 단순합니다.

2년 전 표준이던 TGI가 보관 처리됐다는 사실이 이 층의 속도를 보여 줍니다. 엔진은 vLLM과 SGLang으로 모였고, 쿠버네티스 위에서 여러 대를 묶는 층은 llm-d로 모이고 있습니다. llm-d는 Red Hat, Google Cloud, IBM Research, CoreWeave, NVIDIA가 함께 시작해 3월에 CNCF 샌드박스 프로젝트가 됐습니다. 쿠버네티스 공식 확장인 Gateway API Inference Extension은 8월부터 표준 API(InferencePool)와 가벼운 기본 구현만 남기고 핵심 라우팅 로직을 llm-d로 넘겼고, KServe의 새 LLM 서비스 자원도 vLLM과 llm-d를 바탕으로 합니다. 쿠버네티스가 처음이라면 쿠버네티스 첫걸음 시리즈부터 보셔도 좋습니다.

서버를 늘렸는데 느려지는 이유

크게 보기

엔진이 정해졌다면 성능을 가르는 것은 요청을 어느 서버로 보내느냐입니다. 일반 웹 서버는 어느 서버가 받아도 결과가 같으니 순서대로 돌리면(라운드로빈) 됩니다. LLM 서버는 다릅니다. 대화의 앞부분을 이미 읽어 둔 서버에는 그 계산 결과(KV 캐시)가 남아 있어, 같은 대화의 다음 턴을 그 서버가 받으면 새로 붙은 부분만 읽으면 됩니다. 다른 서버로 가면 수천~수만 토큰을 처음부터 다시 읽습니다.

위젯에서 서버 수를 늘려 보면 라운드로빈의 첫 토큰 시간이 오히려 길어지는 것을 볼 수 있습니다. 이것은 장난감 모델만의 현상이 아닙니다. 올해 공개된 실측이 같은 방향을 가리킵니다.

벤치마크도 이 현실을 따라왔습니다. SemiAnalysis의 공개 벤치마크 InferenceX는 8월부터 캐시 적중률 95% 이상인 다중 턴 에이전트 기록으로 엔진을 잽니다. 캐시가 듣는 상태가 표준 조건이 된 것입니다.

직접 서빙하는 팀이 올해 적어 둔 것들

6. 게이트웨이: 모든 호출이 지나는 문 하나

크게 보기

서빙 위의 2층은 게이트웨이입니다. 애플리케이션이 모델 공급자를 직접 부르지 않고, 사내의 문 하나를 거쳐 부르게 하는 구조입니다. 그랩, 우버, 도어대시, 우아한형제들이 공개한 사내 플랫폼에는 예외 없이 이 층이 있습니다.

이유는 숫자가 말해 줍니다. 데이터독 보고서에 따르면 운영 환경에서 AI 모델 요청의 약 5%가 실패하고, 그중 60% 가까이가 용량 제한 때문입니다. Vercel은 자사 게이트웨이를 지난 요청의 3.5%가 자동 폴백으로 구제됐다고 밝혔습니다(사업자 발표). 장애도 드물지 않습니다. Anthropic의 상태 페이지에는 7월 25일부터 10월 1일까지 사건 50건이 기록돼 있고 그중 19건이 중대, 2건이 치명 등급입니다. OpenAI의 상태 페이지는 7~10월 API 가용성을 99.96%로 표시합니다.

게이트웨이가 맡는 일을 정리하면 다음과 같습니다.

올해 이 층에서 벌어진 일: 사고와 인수

게이트웨이를 고를 때 알아야 할 올해의 사건이 둘 있습니다.

첫째, 공급망 사고입니다. 가장 널리 쓰이는 오픈소스 프록시 LiteLLM의 악성 버전 두 개(1.82.7, 1.82.8)가 3월 24일 PyPI에 올라왔습니다. LiteLLM의 공식 설명에 따르면 CI에서 쓰던 보안 스캐너가 먼저 뚫려 배포 자격 증명이 탈취됐고, 악성 버전은 파이썬이 시작될 때마다 환경 변수, SSH 키, 클라우드·쿠버네티스 자격 증명을 외부로 보냈습니다. 게이트웨이는 회사의 모든 모델 키가 지나가는 곳입니다. 이후에도 LiteLLM의 취약점 세 건이 미국 CISA의 '실제 악용된 취약점' 목록에 올랐습니다. 프로젝트는 지금도 활발히 개발되고 있지만(별 약 6만), 교훈은 분명합니다. 게이트웨이는 버전을 고정하고, 새 버전은 하루 이상 늦게 받고, 인터넷에 직접 노출하지 않습니다.

둘째, 주인이 바뀌었습니다. 지난 1년 사이 이 층의 이름난 도구 상당수가 인수되거나 멈췄습니다.

똑똑한 라우터의 한계

게이트웨이에 '질문을 보고 가장 싼 모델을 골라 주는 학습형 라우터'를 넣고 싶어집니다. 올해 연구는 이 기대에 찬물을 끼얹었습니다. 40만 건 넘는 사례로 라우터들을 비교한 LLMRouterBench(1월)는 상용 라우터를 포함한 여러 최신 라우터가 단순한 기준선을 안정적으로 넘지 못했다고 보고했습니다. 2월의 다른 논문은 예산을 늘릴수록 라우터가 가장 비싼 모델만 고르게 되는 현상을 보였습니다.

현장의 답은 더 단순합니다. Amplify Partners의 2026년 조사(1,048명)에서 응답자의 87%가 여러 모델을 쓰고, 가장 흔한 방식은 작업 유형에 따라 모델을 미리 정해 두는 것이었습니다. 저희가 검색 스택 실험에서 얻은 결론도 같았습니다. 정규식으로 만든 규칙 라우터가 모델 기반 라우터보다 나았습니다(적재적소 라우팅 실측). 라우팅은 요청마다 추측하기보다 작업 종류마다 표로 정해 두는 편이 낫습니다.

7. 컨텍스트와 캐시: 에이전트의 값은 여기서 정해진다

3층은 눈에 잘 띄지 않지만 비용의 대부분이 결정되는 곳입니다. 에이전트는 턴마다 지금까지의 대화 전체를 다시 모델에 넣습니다. 그래서 Manus 팀이 밝힌 대로 입력과 출력의 비가 100대 1쯤 되고, Anthropic의 측정으로는 에이전트가 일반 대화의 약 4배, 다중 에이전트 시스템은 약 15배의 토큰을 씁니다.

이 구조에서 값을 정하는 것이 프롬프트 캐시입니다. 앞부분이 직전 요청과 같으면 그 부분은 훨씬 싸게 읽습니다. 그리고 그 할인 폭이 모델 세대가 바뀔 때마다 깊어지고 있습니다.

가장 비싼 모델의 캐시 읽기 값이 가장 싼 모델의 정가 입력보다 쌉니다. 뒤집어 말하면 캐시가 깨지는 순간 같은 요청의 입력 비용이 최대 40배가 됩니다. OpenAI도 GPT-5.6부터 캐시 쓰기에 1.25배를 받고 읽기는 0.1배(일부 모델 0.05배)로 내리는, 같은 구조로 옮겨 갔습니다. Manus가 "운영 단계 에이전트에서 가장 중요한 지표 하나는 KV 캐시 적중률"이라고 쓴 것이 2025년 7월인데, 2026년의 가격표는 그 말을 더 강하게 만들었습니다. 캐시의 원리는 프롬프트 캐시는 어떻게 동작하는가에 정리해 두었습니다.

캐시 적중률을 지키는 규칙은 단순하지만 어기기 쉽습니다.

두 번째 줄은 이제 프로토콜 차원의 권고가 됐습니다. 7월 28일에 나온 MCP 새 사양은 서버가 도구 목록을 정해진 순서로 돌려주라고 권하면서 그 이유를 'LLM 프롬프트 캐시 적중률 향상'이라고 명시했습니다. 통신 규약이 캐시를 위해 설계를 바꾼 것입니다.

캐시와 함께 볼 것이 컨텍스트에 처음부터 덜 넣는 기술입니다. Anthropic의 측정으로 MCP 서버 다섯 개의 도구 정의만 약 5만 5천 토큰을 차지했는데, 도구를 필요할 때 검색해 올리는 방식으로 바꾸자 토큰이 85% 줄고 정확도는 오히려 올랐습니다. Cursor는 도구 출력을 파일로 빼 두고 필요할 때 읽게 하는 방식으로 에이전트 총 토큰을 46.9% 줄였다고 밝혔습니다. 공통 원리는 하나입니다. 컨텍스트 창은 작업대이지 창고가 아닙니다. 창고는 파일 시스템에 둡니다. 더 깊은 내용은 컨텍스트 엔지니어링 가이드를 참고하세요.

8. 에이전트 런타임: 몇 시간짜리 작업이 죽지 않게

크게 보기

4층과 5층은 에이전트가 실제로 일하는 곳입니다. 챗봇은 요청 하나에 응답 하나로 끝나지만 에이전트는 몇 분에서 몇 시간 동안 도구를 부르고 코드를 돌리고 사람의 승인을 기다립니다. Anthropic의 집계로 Claude Code에서 가장 긴 축에 드는 작업(상위 0.1%)의 한 턴은 2025년 10월 25분 미만에서 2026년 1월 45분 이상으로 늘었습니다. 이렇게 긴 작업은 웹 요청처럼 다룰 수 없습니다.

두뇌, 손, 기록을 나눈다

올해 가장 영향력 있었던 설계 원칙은 Anthropic이 Managed Agents를 만들며 공개한 것입니다. 첫 설계에서는 에이전트 루프와 실행 환경이 한 컨테이너에 있어, 컨테이너가 죽으면 세션도 같이 사라졌습니다. 서버를 애완동물처럼 돌봐야 하는 구조였습니다. 이를 세 부분으로 나눴습니다.

이렇게 나누자 첫 토큰까지의 시간이 중앙값 약 60%, p95는 90% 넘게 줄었다고 합니다. 쇼피파이도 같은 결론("두뇌와 손을 분리하라")을 독립적으로 적었고, OpenAI가 9월에 공개 베타로 낸 Agents API와 AWS가 9월에 고친 AgentCore 런타임도 같은 모양입니다. OpenAI는 8월 26일 Assistants API를 종료했습니다. 관리형 에이전트 런타임의 구조가 한 방향으로 수렴하고 있습니다.

과금 단위가 '일한 시간'으로 모인다

이 층에서 눈여겨볼 변화는 과금 단위입니다.

에이전트는 대부분의 시간을 모델 응답이나 사람의 승인을 기다리며 보냅니다. 그 시간에 돈을 받지 않는 방식이 표준이 됐습니다. 플랫폼을 직접 짓는 쪽에서도 같은 기준이 필요합니다. 사람 승인을 기다리는 세션이 서버를 붙잡고 있지 않도록, 멈췄다가 이어서 도는 구조가 있어야 합니다.

그 구조를 지속 실행(durable execution)이라고 부릅니다. 단계마다 결과를 기록해 두었다가, 프로세스가 죽거나 배포가 새로 나가도 마지막 단계부터 이어서 도는 방식입니다. 이 분야의 대표 주자 Temporal은 9월에 기업가치 125억 5천만 달러로 5억 5천만 달러를 투자받았고, 8월 한 달 실행량이 1조 9천억 건이라고 밝혔습니다. 9월 30일에 투자를 받은 Restate의 창업자는 "에이전트를 위해 만든 것이 아닌데 마침 딱 맞았다"고 말했습니다. Vercel Workflow, Cloudflare Workflows, DBOS, LangGraph도 같은 문제를 풉니다.

MCP가 세션을 버린 이유

5층의 표준인 MCP는 7월 28일 사양에서 큰 결정을 했습니다. 연결 시작 때의 초기화 절차와 세션을 프로토콜에서 없애고, 요청 하나하나가 독립적으로 처리되게 했습니다. 서버 쪽에서 먼저 요청을 보내던 기능은 '추가 입력이 필요하다'는 응답으로 대체됐고, 게이트웨이가 본문을 열지 않고도 라우팅할 수 있도록 표준 헤더가 생겼습니다. 출시 2년이 채 안 된 프로토콜이 세션을 버린 것은, 상태를 가진 서버를 수평으로 늘리는 일이 그만큼 어려웠기 때문입니다. 이 변화는 MCP 2026-07-28 사양 해설에서 자세히 다뤘습니다.

플랫폼을 짓는 입장에서는 좋은 소식입니다. 사내 MCP 서버를 일반 웹 서비스처럼 부하 분산 뒤에 둘 수 있게 됐습니다. 에이전트 사이 통신은 A2A 1.0이, 절차 지식은 Agent Skills가 맡는 구도도 자리를 잡았습니다. 아직 정리되지 않은 것은 에이전트가 화면을 그리는 층(AG-UI, A2UI, MCP Apps가 겹쳐 있음)과 MCP 서버를 어디까지 믿을지의 문제입니다.

다중 에이전트: 열 달 만에 뒤집힌 권고

2025년 6월 Cognition은 "다중 에이전트를 만들지 말라"고 썼습니다. 2026년 4월에는 그 글을 고쳐 썼습니다. 지금 통하는 방식은 쓰기는 한 줄기로, 읽기와 검토는 여러 에이전트로 하는 것이라고 합니다. 깨끗한 컨텍스트로 시작한 검토 에이전트가 PR당 평균 2개의 버그를 찾았다는 수치도 함께 내놨습니다. Cursor도 대등한 에이전트들의 협업은 실패했고 계획자와 작업자의 위계가 통했다고 적었습니다.

하니스에 대한 가장 중요한 문장은 Anthropic의 3월 글에 있습니다. 하니스의 모든 부품은 "모델이 혼자서는 못 한다"는 가정을 담고 있다는 것입니다. 모델이 좋아지면 그 가정이 틀려지고, 부품은 짐이 됩니다. 같은 글에서 혼자 돌린 에이전트는 20분에 9달러, 계획·생성·평가로 나눈 하니스는 6시간에 200달러가 들었습니다. 하니스는 쌓는 것만큼 덜어내는 것이 일입니다. 관련 실증은 코딩 에이전트 하니스 설계 실증 연구에 정리했습니다.

9. 평가와 관측: 대시보드보다 실패 사례

크게 보기

6층은 사서 쓸 수 있는 부분과 살 수 없는 부분이 가장 뚜렷하게 갈리는 층입니다.

LangChain의 조사(1,340명)를 보면 에이전트를 운영 중인 조직의 89%가 관측 도구를 갖췄지만, 오프라인 평가를 돌리는 곳은 52.4%, 운영 중 평가는 37.3%입니다. Amplify의 조사에서도 평가는 가장 많이 꼽힌 어려움이었고, 가장 흔한 방법은 여전히 "눈으로 대충 보기"였습니다. 도구는 깔았는데 재지는 않는 상태입니다.

평가 실무에서 가장 많이 인용되는 하멜 후세인과 슈레야 샹카의 권고는 순서가 분명합니다.

Anthropic의 1월 글도 같은 방향입니다. 실제 실패에서 뽑은 과제 20~50개로 시작하고, 경로가 아니라 결과를 채점하고, 고객 대면 서비스라면 k번 모두 성공하는 비율(pass^k)을 보라고 권합니다. 노션은 평가를 세 층으로 나눕니다. CI에서 도는 회귀 평가, 출시 기준인 80~90% 합격선의 평가, 그리고 일부러 30%쯤만 통과하게 만든 '여유 공간' 평가입니다. 마지막 것은 다음 모델이 나왔을 때 얼마나 나아졌는지 알아보기 위한 것입니다.

채점하는 AI를 채점하기

4단계가 왜 필요한지는 직접 보는 편이 빠릅니다.

판정기가 부정확하면 합격률이 실제보다 높거나 낮게 찍힐 뿐 아니라, 버전 사이의 차이가 줄어들어 보입니다. 기본값에서 실제 6%p 개선은 3.6%p로 보이고, 표본 200건으로는 그 차이를 우연과 구분하지 못합니다. 개선했는데 지표가 꿈쩍하지 않거나, 반대로 우연을 개선으로 읽게 되는 이유입니다. 국내 사례로 하이퍼커넥트는 판정기를 '한 번에 하나의 기준, 합격·불합격'으로 단순화했을 때 사람과의 일치율이 약 84%였고, 전문가끼리의 일치율이 80~90%였다고 공개했습니다. 판정기가 도달할 수 있는 천장은 사람끼리의 합의 수준입니다. Anthropic의 표현으로는, 좋은 과제란 두 전문가가 따로 봐도 같은 판정을 내리는 과제입니다.

관측 도구를 고를 때

트레이스 수집과 평가 실행 도구는 Langfuse, Braintrust(2월 8천만 달러 투자 유치), LangSmith, Arize Phoenix, W&B Weave 등 선택지가 많습니다. 다만 표준은 아직 굳지 않았습니다. OpenTelemetry의 GenAI 규약은 6월에 별도 저장소로 옮겨졌고, 10월 3일 현재 안정판이 없습니다. 6장의 조언이 여기에도 적용됩니다. 트레이스를 내보낼 수 있는지 먼저 확인하고, 평가 세트와 판정 기준은 도구 안이 아니라 저장소에 코드로 둡니다. 모델을 바꿀 때도, 도구를 바꿀 때도, 호스트를 바꿀 때도 남는 것은 그 평가 세트입니다.

10. 보안·거버넌스: 마지막 방어선은 권한이다

7층에서 올해 가장 많이 인용된 사고는 4월의 PocketOS 건입니다. 스테이징 환경에서 작업하던 코딩 에이전트가 범위가 넓은 클라우드 토큰을 발견해 운영 데이터베이스 볼륨과 볼륨 단위 백업을 약 9초 만에 지웠고, 서비스가 30시간 넘게 멈췄습니다. 2025년 12월 AWS에서 있었던 13시간 장애도 에이전트가 환경을 '지우고 다시 만들기'로 결정한 데서 시작됐다고 보도됐는데, 아마존은 이를 사용자 접근 통제 문제라고 설명했습니다.

두 사건의 공통점은 모델이 틀려서가 아니라 권한이 넓어서 커졌다는 것입니다. OWASP가 9월에 낸 2026년판 LLM 애플리케이션 10대 위험도 '과도한 권한 위임'의 순위를 올렸습니다. Amplify 조사에서 쓰기 권한을 가진 에이전트의 비율은 1년 사이 52%에서 89%로 늘었습니다. 에이전트가 할 수 있는 일이 늘어난 속도를 통제가 따라가야 합니다.

공급망도 이 층의 일입니다. 6장의 LiteLLM 사고처럼, AI 플랫폼의 부품은 대개 자격 증명 가까이에서 돕니다. MCP 서버와 스킬도 마찬가지로 남이 만든 코드와 지시문을 에이전트의 권한으로 실행하는 것입니다. 사내 레지스트리에 검토한 것만 올리고, 버전을 고정하세요.

11. 한국에서 짓는다는 것

크게 보기

여기까지는 어느 나라에서나 통하는 이야기입니다. 한국에서 플랫폼을 지을 때는 세 가지가 더 붙습니다.

'국내 리전에서 처리'가 요건이면 최신 프런티어 모델은 쓸 수 없다

가장 먼저 확인해야 하고, 가장 자주 뒤늦게 발견되는 사실입니다. 10월 3일 각 클라우드의 리전별 지원 문서를 확인한 결과입니다.

정리하면, "데이터가 국내에서 처리돼야 한다"는 요건이 붙는 순간 선택지는 한 세대 전 프런티어 모델이거나 오픈 웨이트 모델의 자체 서빙입니다. 반대로 그 요건이 '국내 저장'이나 '계약상 통제' 수준이라면 선택지가 훨씬 넓습니다. 요건의 정확한 문구를 법무·보안 담당자와 설계 첫 주에 확정해야 하는 이유입니다. 공공 부문은 국가 망 보안체계(N2SF)가 데이터를 기밀(C)·민감(S)·공개(O)로 나눠, 공개 등급은 상용 클라우드를 논리적 분리로 쓸 수 있고 민감 등급은 국내 전용 장비를 요구합니다. 등급별로 다른 사다리 단에 서는 설계가 필요합니다.

자체 서빙할 수 있는 한국어 모델이 늘었다

다행히 사다리 ⑥⑦에서 돌릴 수 있는 국산 오픈 웨이트 모델이 올해 크게 늘었습니다. 정부의 '독자 AI 파운데이션 모델' 사업에 참여한 회사들이 모델을 잇달아 공개한 덕입니다. 다만 라이선스가 제각각이라 상업 이용 전에 반드시 원문을 확인해야 합니다. 허깅페이스 모델 카드 기준입니다.

큰 모델은 수백 B 규모라 GPU 여러 장이 필요합니다(업스테이지는 Solar Open 2가 B200 두 장에서 돈다고 밝혔습니다). 작은 팀이라면 8B~32B급 모델을 ⑤ 서버리스 GPU나 GPU 한 장에 올리는 구성이 현실적입니다. 토큰 과금으로 쓰려면 업스테이지 API(Solar Pro 4: 100만 토큰당 입력 0.30달러, 출력 1.20달러)가 있습니다.

GPU 수급에서는 정부가 추경으로 확보한 1만 3천 장(네이버클라우드·NHN클라우드·카카오 운영)과, 8월 3일 해남에서 착공한 국가AI컴퓨팅센터(2028년까지 1만 5천 장 목표)가 변수입니다. 국산 AI 반도체도 서빙 쪽에서 움직이고 있습니다. 리벨리온은 7월에 서버 한 대로 SKT의 519B 모델을 구동했다고 발표했고, 퓨리오사AI는 180W급 RNGD의 양산을 늘리고 있습니다. 다만 두 회사 모두 초당 토큰 같은 서빙 지표를 제3자가 잰 공개 자료는 아직 드뭅니다. 도입을 검토한다면 우리 모델과 우리 트래픽으로 직접 재야 합니다.

AI 기본법: 지금은 계도기간, 그래도 기록은 지금부터

AI 기본법은 2026년 1월 22일 시행됐고, 최소 1년의 계도기간이 운영 중입니다. 플랫폼을 운영하는 입장에서 미리 구조에 넣어 둘 것은 세 가지입니다. 생성물이라는 사실을 알리는 표시(딥페이크는 눈에 보이는 표시, 그 밖의 생성물은 비가시 워터마크도 허용), 고영향 영역에 해당하는지의 판단과 문서 보관(5년), 그리고 그 근거가 될 사용 기록입니다. 의무는 모델을 만든 쪽뿐 아니라 가져다 서비스하는 쪽에도 걸립니다. 6장에서 게이트웨이에 남기라고 한 '누가, 어떤 모델을, 무엇에 썼는지'의 기록이 규제 대응의 바탕이 됩니다. 세부 기준은 시행령과 가이드라인으로 계속 구체화되고 있으니 법무 검토를 거치세요.

12. 방향성: 앞으로 1년을 보는 일곱 가지 관점

조사한 것을 겹쳐 놓고 보면 방향이 몇 갈래로 모입니다.

① 모델은 교체 부품이 되고, 평가 세트가 자산이 됩니다. 올해에만 주요 모델 세대가 여러 번 바뀌었고, 같은 모델이 여러 클라우드와 수십 개 호스트에서 팔립니다. 새 모델이 나온 날 우리 서비스에 써도 되는지 하루 만에 답할 수 있는 팀과 몇 주가 걸리는 팀의 차이는 평가 세트에서 납니다.

② 캐시가 아키텍처를 정합니다. 가격표(읽기 40분의 1), 프로토콜(MCP의 도구 순서 고정), 라우팅(접두사 인지), 벤치마크(캐시 적중 95% 조건)가 모두 같은 쪽을 가리킵니다. 앞으로의 설계 검토에서 "이 변경이 접두사를 흔드는가"는 "이 변경이 인덱스를 타는가"만큼 기본 질문이 됩니다.

③ 서빙은 포트폴리오입니다. 한 단에 올인하지 않고, 작업별로 단을 배정하고, 기본 부하는 전용으로 피크는 토큰 과금으로 받습니다. GPU 임대료 반등은 이 유연성의 값을 올렸습니다.

④ 하니스는 덜어내는 방향으로 진화합니다. 모델이 좋아질 때마다 스캐폴딩의 일부가 짐이 됩니다. 분기마다 "이 단계를 빼도 평가가 유지되는가"를 실험하는 팀이 비용과 속도에서 앞서갑니다.

⑤ 과금은 토큰에서 '일'로 옮겨 갑니다. 인프라 층은 실제로 일한 CPU 시간과 세션 시간으로, 애플리케이션 층은 대화·해결 건당 과금으로 실험이 이어지고 있습니다. 어느 쪽이든 작업 단위로 원가를 아는 플랫폼만 가격을 정할 수 있습니다. 미터링은 나중에 붙이는 기능이 아닙니다.

⑥ 도구 시장은 계속 합쳐집니다. 이 글의 표에 적은 것만 1년 사이 인수·중단이 여섯 건입니다. 표준(OpenAI 호환 API, MCP, OpenTelemetry)에 기대고 고유 기능에는 얇게 기대는 편이 안전합니다.

⑦ 자율이 길어질수록 권한이 설계의 중심이 됩니다. METR의 측정으로 모델이 50% 확률로 끝내는 작업의 길이는 2023년 이후 약 129일마다 두 배가 됐고, 최상위 모델은 이미 이 벤치마크가 믿을 만하게 잴 수 있는 범위(16시간)를 넘어섰습니다. 몇 시간씩 혼자 일하는 에이전트를 받아들일 플랫폼의 기본기는 지능이 아니라 신원, 권한, 승인, 기록입니다.

마치며: 이번 분기에 해 볼 것

그랩의 문장으로 돌아가면, 에이전트의 생각하는 부분은 오후 한나절이면 만듭니다. 나머지 2주, 곧 서빙 단을 고르고, 문을 세우고, 캐시를 지키고, 죽지 않게 하고, 재고, 권한을 좁히는 일이 2026년의 AI 플랫폼 개발입니다. 그리고 그 2주를 한 시간으로 줄여 주는 것이 잘 지은 플랫폼입니다.

함께 읽으면 좋은 글: 넷플릭스는 왜 LLM을 직접 서빙하는가 (1부) · 제번스의 역설과 추론 경제학 · AIP 경쟁 시대 · MCP 2026-07-28 사양 해설 · 프롬프트 캐시는 어떻게 동작하는가

참고한 자료 (가격·버전·상태는 2026년 10월 3일 확인)

• 서빙 시장·가격: OpenRouter GLM-5.3 엔드포인트 목록 · Artificial Analysis 공급자 비교 · Anthropic 가격표 · OpenAI 가격표 · Gemini API 가격표 · Amazon Bedrock 가격 · Fireworks · Together · Baseten · Modal · RunPod · Cerebrium · Lambda · Crusoe · Nebius · CoreWeave · SemiAnalysis GPU 임대 지수(2026-04-02)
• 직접 서빙: vLLM 릴리스 · SGLang 릴리스 · TGI 저장소 · llm-d (CNCF) · Gateway API Inference Extension · KServe + llm-d + vLLM 사례(테슬라·Red Hat) · 지연 예측 스케줄링(Google) · Cloudflare 고성능 LLM 서빙 · 분리 서빙 가이드(IBM) · AWS 분리 추론 · DaoCloud GLM-5.2 사례 · Akamai: LLM을 웹 서버처럼 다루지 말라 · InferenceX
• 게이트웨이·라우팅: Datadog State of AI Engineering 2026 · LiteLLM 보안 공지(2026-03) · CISA KEV 목록 · Langfuse, ClickHouse 합류 · Helicone, Mintlify 합류 · Palo Alto Networks의 Portkey 인수 · LLMRouterBench · When Routing Collapses · 2026 State of AI Engineering(Amplify)
• 컨텍스트·런타임: Manus 컨텍스트 엔지니어링 · Anthropic 다중 에이전트 연구 시스템 · Anthropic 고급 도구 사용 · Anthropic Managed Agents 설계 · Anthropic 하니스 설계 · Anthropic 에이전트 자율성 측정 · Cursor 동적 컨텍스트 탐색 · Cognition 다중 에이전트 재론 · MCP 2026-07-28 변경 내역 · A2A 사양 · Bedrock AgentCore 가격 · Vercel Sandbox 가격 · Temporal 투자 발표 · Restate 투자 보도 · METR 시간 지평
• 평가·보안: Evals FAQ(후세인·샹카) · Anthropic 에이전트 평가 풀어 보기 · LangChain State of Agent Engineering · 노션 인터뷰(Latent Space) · 하이퍼커넥트 LLM-as-a-Judge · OpenTelemetry GenAI 규약 저장소 · OWASP GenAI 2026 발표 · PocketOS 사고 보도 · AWS 장애 보도
• 사내 플랫폼 사례: 그랩 · 스트라이프 Minions · 쇼피파이 River · 깃허브 Copilot 코드 리뷰 · 우아한형제들 AI플랫폼 2.0 · 네이버클라우드 OmniServe · LY 이미지 검수
• 한국: Bedrock 리전별 모델 지원 · Google Cloud 생성형 AI 리전 · Azure 리전별 모델 · 업스테이지 가격 · LG AI연구원(허깅페이스) · SKT A.X-K2 · 네이버 HyperCLOVA X SEED · 카카오 Kanana-2 · KT 믿:음 2.0 · AI 기본법 시행 정리(바이라인네트워크) · N2SF·인증 통합 보도(바이라인네트워크) · 국가AI컴퓨팅센터 착공 보도(머니투데이)