#프롬프트 캐시

3개의 포스트

2026.10.30

[특집] 같은 가중치, 10배 가격 — 오픈 모델을 사는 법

OpenRouter에 올라온 오픈 웨이트 모델 28개의 엔드포인트 518개를 내려받아 같은 모델의 가격을 나란히 놓았습니다. 출력 단가의 폭은 중앙값으로 2.8배, 입력 단가는 5배였고, GLM-5.3은 49개 엔드포인트 사이에서 채팅형 섞인 가격이 10.7배 벌어졌습니다. 가장 싼 공급자는 캐시 적중률과 입력:출력 비율에 따라 바뀌었고(DeepSeek V4.1 Flash는 채팅·RAG·에이전트에서 1등이 모두 달랐습니다), 가장 싼 가격 상당수에는 할인 표시와 미공개 양자화가 붙어 있었습니다. InferenceX 원가로 보면 모든 공급자 가격이 최신 칩에서는 남지만 H100·H200급에서는 DeepSeek V4.1 Flash를 파는 42곳 모두가 손해였고, 연구소 자체 가격은 최적 칩 원가의 1.4~9.2배였습니다. 같은 가중치는 같은 상품이 아니며, 오픈 모델은 출력 단가가 아니라 '내 작업 모양의 섞인 가격'과 라벨로 사야 합니다.

코어닷투데이87분

[특집] 입력 토큰 경제 — OpenRouter 1년치 기록으로 본 AI 시장의 체질 변화

특집OpenRouter토큰 경제학

2026.10.30

[특집] 입력 토큰 경제 — OpenRouter 1년치 기록으로 본 AI 시장의 체질 변화

OpenRouter가 공개한 53주치 순위 기록을 내려받아 다시 계산했습니다. 1년 사이 처리 토큰은 32배, 요청 수는 9.5배 늘었고, 요청 한 건의 평균 길이는 5,930토큰에서 20,037토큰으로 3.4배가 됐습니다. 지난주 시장 전체의 입력:출력 비율은 39:1이었습니다. Anthropic의 토큰 점유율은 16.2%에서 8.6%로 반 토막 났지만 요청 점유율은 4.4%에서 4.2%로 거의 그대로였고, 지출 점유율은 36.5%로 토큰 점유율의 네 배가 넘었습니다. 토큰 점유율, 요청 점유율, 매출은 서로 다른 세 개의 자이며, 지금 AI 시장은 '얼마나 쓰나'보다 '얼마나 읽나'로 움직이는 입력 토큰 경제가 됐습니다.

코어닷투데이84분

AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

특집AI 플랫폼LLM 서빙

2026.10.03

AI 플랫폼은 모델 바깥에서 만들어진다 — 2026년 일곱 층의 노하우와 서빙 플랫폼 지도

2026년에 AI 플랫폼을 만든다는 것은 모델을 만드는 일이 아니라 모델 둘레의 일곱 층을 짓는 일입니다. 서빙, 게이트웨이, 컨텍스트·캐시, 에이전트 런타임, 도구·프로토콜, 평가·관측, 보안·거버넌스. 이 글은 10월 3일 기준의 가격표·저장소·사양·엔지니어링 블로그를 직접 확인해, 층마다 무엇을 사고 무엇을 지을지 정리했습니다. 특히 서빙은 '빌려 쓰기 대 직접 돌리기'가 아니라 일곱 단짜리 사다리로 풀었습니다. 같은 모델의 입력 단가가 호스트에 따라 23배 벌어지는 이유, GPU 임대료가 2년 만에 반등한 지금의 손익분기, 서버를 늘리면 오히려 느려지는 캐시 문제, 한 해 사이 주인이 바뀐 게이트웨이·관측 도구들, 그리고 서울 리전에서 최신 프런티어 모델을 '국내 처리'로 쓸 수 없는 현실까지 다룹니다. 계산기와 시뮬레이터 7개를 직접 움직여 볼 수 있습니다.

코어닷투데이86분