coredot.today
블로그로 돌아가기

#SWE-bench

5개의 포스트

지표가 목표가 되면 — 하노이의 쥐꼬리에서 MMLU의 졸업, 보상 해킹까지 굿하트의 법칙 (특집)
특집굿하트의 법칙Goodhart's law
2026.11.08

지표가 목표가 되면 — 하노이의 쥐꼬리에서 MMLU의 졸업, 보상 해킹까지 굿하트의 법칙 (특집)

⟦SUMMARY⟧

코어닷투데이42분
시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)
특집벤치마크 오염데이터 오염
2026.11.07

시험지를 미리 본 모델 — GPT-2의 8-gram 검사부터 에이전트의 git log까지, 벤치마크 오염의 모든 것 (특집)

언어 모델을 채점하는 시험 문제는 대부분 웹에 공개돼 있고, 모델은 그 웹으로 학습한다. 시험 문제가 학습 데이터에 섞여 드는 것을 벤치마크 오염이라 한다. 이 글은 2019년 GPT-2의 8-gram 검사, 2020년 GPT-3의 필터 버그, BIG-bench의 카나리 문자열, GPT-4의 코드포스 10대 0, 바꿔 쓴 시험 문제로 GPT-4를 앞지른 13B 모델, 그리고 에이전트가 평가 중 git log로 미래의 정답을 읽은 2025년 사건까지 오염의 역사를 따라간다. 그리고 직접 쟀다. 공개 모델 13종을 GSM8K 원문과 숫자만 바꾼 변형으로 채점했고, 작은 모델에 시험 문제를 일부러 보여 주며 오염시켰다. 원문을 64번 본 모델은 그 문항에서 20%포인트 올랐지만 숫자만 바꿔도 9%포인트로 줄었고, 문제의 90%를 글자 그대로 이어 썼다. 같은 문항을 바꿔 써서 보여 주면 이어쓰기 검사는 아무것도 잡지 못했다. 오염되지 않은 모델에서도 탐지기 AUC가 0.6이 나왔고, 유명한 탐지 벤치마크는 연도만 봐도 0.91이 나왔다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.

코어닷투데이72분
코딩을 사랑한 사람의 슬픔 — 「Feeling sad about AI」가 건드린 것, 그리고 2026년의 데이터
인사이트AI 코딩개발자 정체성
2026.09.12

코딩을 사랑한 사람의 슬픔 — 「Feeling sad about AI」가 건드린 것, 그리고 2026년의 데이터

2026년 9월 11일, 영국의 한 개발자가 9분짜리 영상을 올렸다. 코드는 한 줄도 나오지 않는 영상이었다. 그는 AI가 슬프다고 말했고, 그 슬픔의 이름을 '무시당함'이라고 붙였다. 해커뉴스 282개, Lobsters 67개의 댓글이 달렸다. 이 특집은 그 글을 끝까지 읽고, 왜 이 감정이 지금 터졌는지를 장인과 탈숙련의 역사에서 찾고, 'AI가 코딩한다'는 문장을 트랜스포머부터 에이전트 하네스까지 분해하고, 2026년의 실측 데이터로 그 문장의 진위를 따진다. 인터랙티브 실험 4종과 논문 원본 그림을 함께 싣는다.

코어닷투데이131분
저커버그의 고백: 'AI가 개발자를 대체한다'는 도박은 왜 빗나갔나 — 코딩 에이전트의 역사와 진짜 실력
AI 에이전트코딩 에이전트에이전틱 코딩
2026.07.04

저커버그의 고백: 'AI가 개발자를 대체한다'는 도박은 왜 빗나갔나 — 코딩 에이전트의 역사와 진짜 실력

2026년 7월 2일, 저커버그는 사내 회의에서 인정했다. '지난 넉 달간 에이전트 개발은 우리 기대만큼 빨라지지 않았다.' 8,000명을 내보내고 1,450억 달러를 태운 도박, 'AI가 프로그래머를 대체한다'는 가정이 흔들린 순간이다. 이 글은 그 도박의 정체인 '코딩 에이전트'가 어디서 왔는지 — HumanEval(2021)·ReAct(2022)·Toolformer(2023, 아이러니하게도 메타의 논문)·SWE-bench·Devin·Claude Code까지 — 논문과 그림으로 쉽게 풀고, SWE-bench 점수가 1.96%에서 90%로 치솟는 마법과 그 함정을 짚는다. 그리고 METR의 '19% 더 느렸다'는 충격 실험, '70%의 벽', 클라르나·메타의 부메랑을 통해 왜 '코드를 쓰는 것'과 '소프트웨어를 만드는 것'이 다른지 끝까지 쉽게 설명한다.

코어닷투데이58분
로컬 AI는 '열등한 Opus'가 아니다: 내 컴퓨터 속 모델은 완전히 다른 연장이다
특집로컬 AI오픈웨이트
2026.06.20

로컬 AI는 '열등한 Opus'가 아니다: 내 컴퓨터 속 모델은 완전히 다른 연장이다

1만 2천 달러짜리 GPU를 사서 자기 사무실에 AI를 들인 한 엔지니어가 던진 한 문장이 화제가 됐다. '로컬 Qwen은 더 싼 Opus가 아니라, 아예 다른 연장이다.' 대장장이가 칼을 담금질하듯 한순간도 눈을 뗄 수 없는 이 모델은 왜 어떤 일에서는 무너지고 어떤 일에서는 클라우드를 압도할까. 오픈웨이트 AI의 역사부터 트랜스포머·MoE·양자화·투기적 디코딩 같은 핵심 아키텍처, 벤치마크의 함정, 그리고 2026년 데이터 주권의 시대에 로컬 모델이 차지하는 진짜 자리까지 — 쉽고 자세하게 풀어본다.

코어닷투데이46분