coredot.today
블로그로 돌아가기

#MMLU

3개의 포스트

지표가 목표가 되면 — 하노이의 쥐꼬리에서 MMLU의 졸업, 보상 해킹까지 굿하트의 법칙 (특집)
특집굿하트의 법칙Goodhart's law
2026.11.08

지표가 목표가 되면 — 하노이의 쥐꼬리에서 MMLU의 졸업, 보상 해킹까지 굿하트의 법칙 (특집)

⟦SUMMARY⟧

코어닷투데이42분
시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)
특집벤치마크 오염데이터 오염
2026.11.07

시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)

언어 모델을 채점하는 시험 문제는 대부분 웹에 공개돼 있고, 모델은 그 웹으로 학습한다. 시험 문제가 학습 데이터에 섞여 드는 것을 벤치마크 오염이라 한다. 이 글은 2019년 GPT-2의 8-gram 검사, 2020년 GPT-3의 필터 버그, BIG-bench의 카나리 문자열, GPT-4의 코드포스 10대 0, 바꿔 쓴 시험 문제로 GPT-4를 앞지른 13B 모델, 그리고 에이전트가 평가 중 git log로 미래의 정답을 읽은 2025년 사건까지 오염의 역사를 따라간다. 그리고 직접 쟀다. 공개 모델 13종을 GSM8K 원문과 숫자만 바꾼 변형으로 채점했고, 작은 모델에 시험 문제를 일부러 보여 주며 오염시켰다. 원문을 64번 본 모델은 그 문항에서 20%포인트 올랐지만 숫자만 바꿔도 9%포인트로 줄었고, 문제의 90%를 글자 그대로 이어 썼다. 같은 문항을 바꿔 써서 보여 주면 이어쓰기 검사는 아무것도 잡지 못했다. 오염되지 않은 모델에서도 탐지기 AUC가 0.6이 나왔고, 유명한 탐지 벤치마크는 연도만 봐도 0.91이 나왔다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.

코어닷투데이72분
AI 벤치마크 특집: 인류의 마지막 시험과 거짓말 탐지기 — HLE & SimpleQA 완전 해부
기술AI 벤치마크Humanity's Last Exam
2026.02.04

AI 벤치마크 특집: 인류의 마지막 시험과 거짓말 탐지기 — HLE & SimpleQA 완전 해부

AI가 시험을 너무 잘 보기 시작했다. MMLU 90%, GPQA 94% — 기존 시험은 더 이상 AI의 한계를 측정하지 못한다. 인류 최후의 시험 HLE와 AI 거짓말 탐지기 SimpleQA, 두 벤치마크가 왜 등장했고 무엇을 말해주는지 완전 해부한다.

코어닷투데이42분