특집벤치마크 오염데이터 오염
2026.11.07시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)
언어 모델을 채점하는 시험 문제는 대부분 웹에 공개돼 있고, 모델은 그 웹으로 학습한다. 시험 문제가 학습 데이터에 섞여 드는 것을 벤치마크 오염이라 한다. 이 글은 2019년 GPT-2의 8-gram 검사, 2020년 GPT-3의 필터 버그, BIG-bench의 카나리 문자열, GPT-4의 코드포스 10대 0, 바꿔 쓴 시험 문제로 GPT-4를 앞지른 13B 모델, 그리고 에이전트가 평가 중 git log로 미래의 정답을 읽은 2025년 사건까지 오염의 역사를 따라간다. 그리고 직접 쟀다. 공개 모델 13종을 GSM8K 원문과 숫자만 바꾼 변형으로 채점했고, 작은 모델에 시험 문제를 일부러 보여 주며 오염시켰다. 원문을 64번 본 모델은 그 문항에서 20%포인트 올랐지만 숫자만 바꿔도 9%포인트로 줄었고, 문제의 90%를 글자 그대로 이어 썼다. 같은 문항을 바꿔 써서 보여 주면 이어쓰기 검사는 아무것도 잡지 못했다. 오염되지 않은 모델에서도 탐지기 AUC가 0.6이 나왔고, 유명한 탐지 벤치마크는 연도만 봐도 0.91이 나왔다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.
