#프롬프트 캐싱

2개의 포스트

2026.08.30

AI가 단골을 알아보는 법 — 프롬프트 캐시 작동 원리, 일러스트로 이해하기

카페 단골은 '늘 마시던 걸로'라는 한마디면 된다. 그런데 AI는 왜 매번 대화 전체를 처음부터 다시 읽을까 — 그리고 프롬프트 캐시는 어떻게 그 낭비를 10분의 1 가격으로 줄일까? 독서 노트, 도미노, 냉장고, 기차 네 가지 비유와 일러스트로 KV 캐시의 원리를 바닥부터 그려 본다. 왜 '접두사'만 적중하는지, 왜 캐시 쓰기는 비싸고 읽기는 싼지, 왜 1시간이 지나면 증발하는지 — 그림으로 이해하면 /rewind와 /compact 중 뭘 눌러야 할지가 저절로 보인다.

코어닷투데이21분

클로드 코드 세션 경제학 — 토큰은 어디서 새고, 캐시는 왜 1시간 뒤에 증발하는가

인사이트Claude Code프롬프트 캐싱

2026.08.22

클로드 코드 세션 경제학 — 토큰은 어디서 새고, 캐시는 왜 1시간 뒤에 증발하는가

같은 일을 시켰는데 어떤 날은 토큰이 3배 나간다. 2026년 8월 Anthropic의 Lydia Hallie가 쓴 'Maximizing the value of your Claude Code sessions'는 그 이유를 네 가지 — 모델 선택, 세션 길이, 사고 수준, 명령 출력 — 로 정리한다. 이 글은 그 가이드를 출발점 삼아, 왜 출력 토큰이 입력의 5배인지(프리필 vs 디코드), 왜 캐시가 0.1배로 싸지는지(KV 캐시와 접두사 일치), 왜 긴 대화가 독이 되는지('Lost in the Middle'에서 'Context Rot'까지)를 논문과 사례로 풀고, /clear·/rewind·@멘션·서브에이전트 같은 습관이 왜 돈이 되는지를 시뮬레이터로 직접 체험하게 한다.

코어닷투데이46분