coredot.today
블로그로 돌아가기

#slime

1개의 포스트

[특집] 요약도 실력이다 — 컨텍스트 압축을 강화학습 안으로 들여온 CompactionRL 완전 해설
AI 에이전트CompactionRL컨텍스트 압축
2026.11.14

[특집] 요약도 실력이다 — 컨텍스트 압축을 강화학습 안으로 들여온 CompactionRL 완전 해설

코딩 에이전트가 몇 시간째 일하다 보면 컨텍스트 창이 가득 찹니다. 그때 하네스는 지금까지의 대화를 요약으로 접고 새 창에서 일을 이어 가게 합니다. 이것이 컨텍스트 압축(compaction)입니다. 그런데 이 요약은 지금까지 훈련 밖에 있었습니다. 모델은 요약에서 이어 가는 연습을 한 적이 없고, 요약을 잘 쓴다고 보상을 받은 적도 없습니다. 칭화대와 Z.AI의 2026년 7월 논문 CompactionRL은 압축을 강화학습 롤아웃 안에 넣고, 요약 토큰과 실행 토큰을 같은 최종 보상으로 함께 훈련합니다. 이를 위해 세 가지 장치를 씁니다. 조원을 기다리지 않는 단일 롤아웃 PPO, 짧은 요약이 손실을 독차지하지 않게 하는 토큰 단위 손실, 그리고 잘린 구간 너머로 보상의 거리를 되살리는 구간 넘는 GAE입니다. 106B 모델에서 SWE-bench Verified 66.4%, Terminal-Bench 2.0 26.2%로, 추론 때만 압축한 기준 모델보다 6.6점·4.9점 높습니다. 요약 모델만 바꿔도 6.5점이 움직인다는 실험, 요약을 훈련하면 요약이 길어진다는 관찰, 그리고 이 이득이 압축을 켰을 때만 나온다는 한계까지 표와 그림을 하나씩 읽습니다. 직접 돌려 보는 위젯 일곱 개를 함께 실었습니다.

코어닷투데이113분