#Context Rot
2개의 포스트
읽기는 병렬로, 추론은 깊게 — 896K 토큰 문서를 4B 모델이 읽어 내는 법, PARSER 논문 특집
100만 토큰짜리 창을 가진 모델도 긴 문서 앞에서는 정확도가 수십 점씩 떨어집니다. 홍콩중문대 연구진이 2026년 9월에 내놓은 PARSER는 '문서를 읽는 순서는 문서가 정하지만, 질문을 푸는 순서는 질문이 정해야 한다'는 한 문장에서 출발합니다. 문서를 보지 않는 리드 에이전트가 질문을 쪼개 수천 개의 청크 담당 서브에이전트에게 동시에 흩뿌리고, 돌아온 증거로 다음 질문을 다듬습니다. 4B 모델이 896K 토큰에서 순차 메모리 에이전트를 12점 앞서고, 9B 모델이 DeepSeek-V4-Pro를 6.3점 앞섰으며, 지연은 11배 줄었습니다. 이 글은 Transformer의 어텐션 창에서 시작해 'Lost in the Middle'과 Context Rot, MemAgent의 순차 메모리까지 이 논문이 서 있는 자리를 되짚고, 흩뿌리기-모으기 구조와 리드 에이전트만 강화학습하는 설계, 세 가지 통제 실험, 실패 사례와 한계, 그리고 2026년 멀티 에이전트 지형에서의 의미를 사례와 함께 풀어 씁니다. 시뮬레이터·결과 탐색기·접근법 가이드 위젯 3개.
긴 맥락이 독이 된다: 'Context Rot'와 컨텍스트 엔지니어링의 시대
100만 토큰 맥락 창의 시대, 우리는 'AI에게 정보를 많이 줄수록 똑똑해진다'고 믿었다. 그런데 Chroma가 18개 모델로 실험한 결과는 정반대였다 — 입력이 길어질수록, 심지어 사소한 작업에서도 성능이 무너진다. 이름하여 'Context Rot(맥락 부패)'. 왜 큰 창이 문제를 해결하지 못하는지, Anthropic·Manus·Claude Code가 실전에서 쓰는 '컨텍스트 엔지니어링' 전략(압축·오프로드·격리)은 무엇인지, 개발자가 내일 바로 쓸 수 있는 형태로 정리한다.