쓴 교훈Bitter Lesson리치 서튼Diogo AlmeidaInstructGPTRLHF스케일링 법칙굿하트의 법칙보상 해킹과제 정의머신러닝 전략TypeSafe AIJev데이터 중심 AI평가RL 환경
가장 쓴 교훈 — 계산량보다 데이터, 데이터보다 '올바른 과제'
2026년 9월 10일, ChatGPT를 만든 사람 중 하나가 900단어짜리 글을 올렸다. 리치 서튼의 '쓴 교훈'(계산 > 알고리즘)은 빙산의 일각이며, 진짜 위계는 '올바른 과제 > 데이터 > 계산 > 알고리즘'이라는 주장이다. 그리고 그 증거로 자기가 만든 InstructGPT의 논문 그림 한 장을 내놓았다 — 100배 작은 모델이 100배 큰 모델 위에 통째로 올라앉은 그림. 이 글은 왜 이 개념이 나왔는지를 1997년 딥블루부터 2026년의 에이전트 시대까지 따라가며, 과제를 잘못 고른 여덟 건의 값비싼 실패와 잘 고른 다섯 건의 성공을 함께 본다. 인터랙티브 위젯 8종과 삽화 14장.
2026년 9월 10일, 디오고 알메이다(Diogo Almeida)가 개인 블로그에 짧은 글을 하나 올렸다. 제목은 The Bitterest Lesson — "가장 쓴 교훈". 본문은 900단어가 채 되지 않는다. 각주 셋, 그림 둘. 읽는 데 4분이면 충분하다.
그런데 이 사람이 누구인지를 알면 4분짜리 글의 무게가 달라진다. 알메이다는 InstructGPT 논문에 별표가 붙은 주 저자(primary authors) 다섯 명 중 한 명이다. 그 뒤 GPT-4 작업에도 참여했고, 지금은 TypeSafe AI의 창업자이자 CEO다. 다시 말해 ChatGPT를 만든 레시피의 지분을 가진 사람이다. 그런 사람이 스케일링의 시대 한복판에서 이렇게 썼다.
TL;DR: 계산량이 AI의 진보를 이끈다. 그런데 애초에 옳은 일을 하고 있지 않다면, 그 진보가 무슨 소용인가!
그리고 닷새 뒤인 9월 15일, 그는 2년간 스텔스로 만들던 회사 TypeSafe AI와 첫 모델 Jev를 공개했다. 이 글은 제품 발표 직전에 깔아 둔 철학적 기초였던 셈이다.
이 특집은 그 900단어를 풀어 쓴 것이다. 왜 이런 주장이 나올 수밖에 없었는지를 1950년대 체스부터 따라가고, 주장의 증거가 된 논문 그림을 직접 다시 그려 보고, 이 원칙을 어긴 대가로 회사가 얼마를 잃었는지를 사례로 확인한 다음, 2026년 현재 이 교훈이 어디에 걸려 있는지까지 간다.
AI 연구 70년에서 읽어 낼 수 있는 가장 큰 교훈은, 계산을 활용하는 일반적 방법이 결국 가장 효과적이며 그 차이가 매우 크다는 것이다.
논리는 단순하다. 무어의 법칙 — 정확히는 단위 연산당 비용이 지수적으로 떨어진다는 사실 — 때문에, 연구 프로젝트 하나가 끝날 즈음이면 처음보다 훨씬 많은 계산이 가용해진다. 그런데 대부분의 AI 연구는 가용 계산량이 고정돼 있다는 듯이 수행된다. 계산이 고정이라면 성능을 올리는 유일한 길은 사람의 지식을 집어넣는 것뿐이다. 그래서 연구자들은 도메인 지식을 코드로 옮기는 데 시간을 쓴다. 단기적으로는 항상 효과가 있고, 무엇보다 연구자 본인에게 만족스럽다.
그리고 장기적으로는 항상 진다.
네 번의 패배
서튼이 든 사례는 네 개다. 아래 연표에서 각 사건을 눌러 보자. 사람 지식 진영과 계산 진영이 무엇을 걸고 붙었는지, 그리고 그 승부 뒤에 아무도 묻지 않은 질문이 무엇이었는지가 함께 나온다.
체스(1997). 딥블루가 카스파로프를 이겼다. 방법은 전용 하드웨어를 이용한 초당 2억 수 규모의 대규모 탐색이었다. 체스 지식을 손으로 코딩하던 연구자들의 반응을 서튼은 이렇게 적었다 — "이들은 좋은 패자가 아니었다. 무차별 대입 탐색이 이번엔 이겼을지 몰라도 그건 일반적 전략이 아니며, 사람이 체스를 두는 방식도 아니라고 했다."
바둑(2016). 같은 패턴이 20년 늦게 반복됐다. 사람의 바둑 지식을 넣어 탐색을 줄이려던 초기 노력은 전부 무의미해졌고, 탐색과 자기대국 학습이 이겼다. 1년 뒤 알파고 제로는 사람 기보를 한 판도 쓰지 않고 더 강해졌다.
음성 인식(1970년대~). DARPA 경진에서 음소·성도 모형 같은 사람의 지식을 넣은 시스템들이, 통계적 은닉 마르코프 모형(HMM)에 밀렸다. 이 시대를 요약하는 것은 IBM 프레드 젤리넥의 유명한 농담이다 — "언어학자를 한 명 해고할 때마다 음성 인식기의 성능이 올라간다."
컴퓨터 비전(2012). SIFT·HOG처럼 사람이 설계한 특징 추출기가 심층 합성곱 신경망에 밀려났다. AlexNet은 ImageNet top-5 오류율을 26.2%에서 15.3%로 끌어내렸다. 서튼의 표현대로 "오늘날 이 모든 것은 버려졌다".
왜 "쓴가"
이 교훈이 쓴 이유는 결과가 나빠서가 아니다. 정반대로 좋기 때문에 쓰다. 연구자가 아끼던, 인간 중심적이고 지적으로 아름다운 접근을 상대로 얻은 승리이기 때문이다. 서튼의 결론은 냉정하다.
마음의 실제 내용은 어마어마하게, 구제 불능으로 복잡하다. 공간·객체·다중 에이전트·대칭성처럼 마음의 내용을 단순하게 정리하려는 시도를 그만두어야 한다. (…) 우리는 우리처럼 발견할 수 있는 AI를 원하는 것이지, 우리가 발견한 것을 담고 있는 AI를 원하는 게 아니다.
💡
서튼의 주장은 흔히 "스케일이 전부"로 요약되지만, 원문을 읽으면 조금 다르다. 그가 지목한 것은 임의로 확장 가능한 두 가지 방법 — 탐색(search)과 학습(learning)이다. 계산을 쏟아부을 수 있는 형태로 문제를 짜라는 말에 가깝다.
2부 — 첫 번째 반론: "일은 사라지지 않는다"
서튼의 글이 올라오고 정확히 엿새 뒤, 로봇공학자 로드니 브룩스(Rodney Brooks)가 A Better Lesson이라는 반론을 냈다. 서튼의 글보다 76단어 짧게 쓰겠다는 농담으로 끝나는 짧은 글이다.
게임에서 "쓴 교훈"이 그토록 깔끔하게 보였던 이유는, 위의 두 층이 공짜로 주어져 있었기 때문이다. 서튼의 관찰이 틀렸다는 게 아니라, 그가 관찰한 영역이 위계의 아래 두 층만 노출된 실험실이었다는 것이다.
연구는 왜 항상 거꾸로 하는가
알메이다가 진짜로 겨냥하는 것은 연구 문화다.
불행히도 ML 연구는 이 문제들을 정확히 반대 순서로 공격한다. 연구자들은 알고리즘을 발명하는 것을 사랑한다. 최근에는 스케일링 곡선을 사랑하는 법도 배웠다. 반면 데이터는 지저분하다. 그리고 올바른 과제를 고르는 일은 대개 ML 문제를 아예 떠나서 사용자·제품·조직, 혹은 혜택을 받아야 할 세상의 어느 부분을 연구해야 한다는 뜻이다.
인센티브를 생각하면 당연하다. 새 알고리즘은 논문이 된다. 스케일링 곡선은 발표 슬라이드가 된다. "3개월간 고객사 콜센터에 앉아서 상담사가 실제로 무슨 일을 하는지 봤다"는 논문 제목이 되지 않는다. 그런데 위계의 맨 위는 바로 거기에 있다.
⚠️
오해 금지 — 스케일 반대가 아니다. 알메이다가 직접 못을 박는다: "이것은 스케일에 반대하는 주장이 아니다. 과제와 데이터가 일단 옳으면, 스케일은 놀랍다. 이것은 스케일을 유일한 답으로 취급하는 것에 반대하는 주장이다." 순서를 바꾸자는 것이지, 순서에서 빼자는 게 아니다.
4부 — 증거물 1호: 그림 한 장
"삶이 LLM을 줄 때는…"
알메이다는 자기 주장의 증거로 자기가 만든 것을 내놓는다.
우리는 OpenAI에서 InstructGPT/RLHF를 만들면서 이 교훈을 배웠다. GPT-3는 인터넷 텍스트에서 다음 토큰을 예측하도록 훈련된 놀라운 모델이었지만, 사람들이 원한 것은 초강력 자동완성이 아니라 지시를 따르는 것이었다. GPT-2 크기의 모델(GPT-3보다 100배 이상 작다)을 올바른 과제로 학습시키자, 가장 멍청한 알고리즘과 거의 없다시피 한 계산만으로도 GPT-3를 박살 냈다.
그가 인용한 것은 InstructGPT 논문 부록의 Figure 31이다. 가로축은 모델 크기(로그), 세로축은 사람이 1~7점으로 매긴 만족도. 원 그림은 arXiv:2203.02155에 있고, 저작권상 여기 옮겨 싣지는 않는다. 대신 논문이 함께 배포한 벡터 그림의 좌표를 축 눈금 기준으로 직접 환산해 우리 손으로 다시 그렸다(오차 ±0.03점).
무엇을 봐야 하는가. 파란 선(GPT-3 계열)의 기울기가 거의 평평하다. 1.3B에서 175B로 134배를 키웠는데 점수는 2.26 → 2.52, 0.26점 올랐다. 반면 초록 선(SFT — 사람이 쓴 시연 1만여 건으로 미세조정한 모델)은 가장 작은 1.3B 지점에서 이미 3.38점이다. 파란 선의 가장 오른쪽 끝보다 0.86점 위다.
알메이다가 분홍색 화살표 두 개로 그림에 적어 넣은 주석이 전부를 말한다 — 왼쪽 위 점 두 개에는 "올바른 과제 + GPT-2", 오른쪽 아래 점에는 "틀린 과제 + GPT-3".
GPT-7이니 GPT-9이니 하는 산수
그다음 문장이 이 글에서 가장 자주 인용된다.
사전학습만 키워서 저 기준선이라도 이기려면 대략 GPT-7 수준까지, GPT-3 위에 올린 InstructGPT를 이기려면 GPT-9 수준까지 가야 할 것이다.
이 숫자는 어떻게 나왔을까? GPT 선의 기울기를 그대로 연장해서, 목표 점수와 만나는 모델 크기를 구하고, 그걸 "한 세대당 몇 배"로 나눈 것이다. 가정이 세 개 들어간다 — 기울기를 어떻게 재는가, 한 세대를 몇 배로 보는가, 그리고 선이 영원히 직선이라고 가정해도 되는가.
아래 계산기로 직접 가정을 바꿔 보자. 숫자는 가정에 따라 GPT-6에서 GPT-12까지 흔들린다. 하지만 어떤 가정을 넣어도 결론은 같다.
💡
정확한 세대 숫자는 수사(rhetoric)에 가깝고, 저자 본인도 "대략(roughly)"이라고 썼다. 중요한 건 격차의 자릿수다. 사전학습 축에서 메우려면 파라미터를 10의 6승~10의 18승 배 늘려야 한다. 그 자리에 실제로 들어간 것은 사람이 쓴 문장 1만 1,295건이었다.
비용표
논문이 직접 보고한 연산량은 이 대비를 더 잔인하게 만든다.
학습 연산량 (petaflops/s-days)
GPT-3 사전학습3,640
175B PPO-ptx (InstructGPT)60
175B SFT4.9
논문의 문장은 이렇다 — "RLHF는 모델 크기를 100배 늘리는 것보다 더 효과적으로 언어 모델을 사용자에게 유용하게 만든다." 사전학습 연산의 1.6%로 그렇게 했다.
RLHF 자체의 작동 원리 — 보상 모델, 브래들리–테리 순위, KL 페널티, 굿하트 문제 — 를 자세히 보고 싶다면 RLHF 특집에서 따로 다뤘다. 이 글에서 중요한 것은 그 기법이 아니라 그 기법이 겨냥한 과제의 전환이다.
5부 — 각주 세 개가 진짜 알맹이다
알메이다의 글에는 각주가 셋 붙어 있다. 본문보다 각주가 더 중요한 글이 가끔 있는데, 이 글이 그렇다.
각주 1 — 데이터가 많아도 과제가 틀리면 진다
LLM 역사는 올바른 과제 없는 데이터가 성능을 해치는 지점도 보여 준다. 당시 가장 인기 있던(그리고 꽤 큰) 미세조정 데이터셋인 FLAN은 지시 따르기 성능을 실제로 떨어뜨렸다.
저울에 올리면 이렇게 보인다. 120만 건이 1.1만 건을 100배 넘게 누른다. 무게를 재는 한 이 그림은 옳다. 문제는 우리가 재려던 것이 무게가 아니었다는 것이다.
숫자로 보자. FLAN은 공개 NLP 과제들을 지시문 형태로 모은 120만 건짜리 데이터셋이다. OpenAI는 175B GPT-3를 FLAN으로, 그리고 T0++로 각각 미세조정해 자기들의 SFT 기준선과 비교했다.
1~7점 만족도 — 모두 175B 모델, 실사용 지시 분포 (논문 Figure 5)
PPO-ptx (InstructGPT)4.80
SFT — 사람 시연 1.1만 건4.07
GPT-3 + 좋은 프롬프트3.45
FLAN — 공개 지시 데이터 120만 건3.35
T0++ — 공개 지시 데이터3.20
그냥 GPT-32.60
데이터가 100배 많은 쪽이 졌다. FLAN(3.35)은 사람 손으로 만든 1.1만 건 SFT(4.07)보다 낮고, 심지어 "GPT-3에 프롬프트를 잘 쓴 것"(3.45)과 비슷한 수준이다. 머리를 맞댄 비교에서 InstructGPT는 FLAN 상대로 78±4%, T0 상대로 79±4% 승률을 기록했다.
논문이 제시한 이유가 정확히 "과제 불일치"다.
1
공개 데이터셋은 채점하기 쉬운 문제로 기울어 있다
분류·질의응답처럼 자동 지표로 평가 가능한 과제 위주로 만들어진다. 학계의 인센티브가 그렇기 때문이다.
2
그런데 사용자는 다른 것을 시킨다
API에 실제로 들어온 요청 중 분류와 QA는 약 18%뿐이었다. 열린 생성과 브레인스토밍이 약 57%였다.
3
결과
120만 건으로 학습한 모델은 "사람이 시킬 법한 일"이 아니라 "벤치마크가 물어볼 법한 일"을 잘하게 됐다. 지표는 오르고 만족도는 떨어진다.
🔍
정확히 짚고 가자. 알메이다의 각주는 FLAN이 지시 따르기 성능을 "떨어뜨렸다(decreased)"고 쓴다. 논문 본문의 표현은 조금 더 조심스럽다 — FLAN·T0는 기본 GPT-3보다는 낫고, 잘 고른 프롬프트를 쓴 GPT-3와 비슷하며, SFT 기준선보다는 나쁘다. 즉 "아무것도 안 한 것보다 나쁘다"가 아니라 "제대로 된 과제로 학습한 것보다 나쁘다"가 정확하다. 주장의 방향은 같지만, 인용할 때는 이 차이를 지키는 편이 좋다.
각주 2 — "가장 멍청한 알고리즘"의 진짜 의미
데이터는 그것으로 배울 수 있는 알고리즘 없이는 쓸모없다. 정말로 새로운 과제는 먼저 새 알고리즘을 발명해야 할 수도 있다. 하지만 필요한 것은 그 과제를 가능하게 만드는 가장 멍청한 방법뿐이다.
알고리즘이 위계의 맨 아래라는 말은 "알고리즘이 안 중요하다"는 뜻이 아니다. 문턱(threshold)이라는 뜻이다. 없으면 0이고, 있으면 그다음부터는 수익 체감이 빠르게 온다. 트랜스포머가 없었다면 GPT는 없었다. 그러나 트랜스포머가 나온 뒤 8년 동안, 업계를 바꾼 변화의 대부분은 아키텍처가 아니라 무엇을 학습시킬 것인가에서 왔다.
각주 3 — 저자가 스스로에게 반론하다
이것은 알고리즘이 중요하다는 증거로 해석될 수도 있다 — GPT 두 세대어치나 되니까! 하지만 여기서도 InstructGPT는 지도학습 기준선 너머의 추가 비교 데이터를 쓴다.
정직한 각주다. "RLHF가 SFT보다 GPT 두 세대만큼 낫다면, 그건 알고리즘(PPO)의 승리 아닌가?"라는 반문을 저자 스스로 꺼내고, RLHF의 이득 상당 부분이 새로 모은 순위 비교 데이터 — 즉 데이터 층 — 에서 온다고 답한다. 논문의 수치로도 확인된다. SFT에는 프롬프트 1만 1,295건이 쓰였지만, 보상 모델 학습에는 3만 3,207건, PPO에는 3만 1,144건이 더 들어갔다.
6부 — 사례집: 과제를 잘못 고른 대가
이론은 여기까지다. 이제 돈 이야기를 하자.
아래 여덟 건에는 공통점이 있다. 모델은 시킨 일을 정확히 해냈다. 리더보드에서 이겼고, 오차를 줄였고, 목표 지표를 올렸다. 시킨 일이 원한 일이 아니었을 뿐이다.
넷플릭스 프라이즈(2006~2009)는 이 장르의 고전이다. 상금 100만 달러, 목표는 사용자 별점 예측 오차(RMSE)를 10% 개선하는 것. 3년 만에 한 팀이 10.06%를 달성했다.
그리고 넷플릭스는 그 우승 앙상블을 제품에 넣지 않았다. 회사 기술 블로그의 설명은 담담하다 — 새 방법 일부를 오프라인으로 평가해 봤지만 "추가된 정확도 이득이 이를 프로덕션 환경으로 가져오는 데 드는 엔지니어링 노력을 정당화하는 것으로 보이지 않았다." 실제로 투입된 것은 2007년 중간 단계에서 나온 행렬분해(SVD)와 제한 볼츠만 머신(RBM)의 선형 결합 정도였다.
게다가 3년 사이 회사가 DVD 우편 배송에서 스트리밍으로 옮겨 갔다. 과제 자체가 대회 도중에 바뀐 것이다. "며칠 뒤 우편으로 받아 볼 DVD를 고르는 일"과 "지금 당장 30초 안에 무엇을 재생할지 고르는 일"은 같은 문제가 아니다.
2016년 OpenAI가 공개한 코스트러너스(CoastRunners) 실험은 "과제 정의가 게임에서조차 자명하지 않다"는 것을 보여 준다. 보트 레이싱 게임에서 강화학습 에이전트에게 점수를 최대화하라고 시켰다. 사람은 당연히 그게 "레이스를 잘 뛰라"는 뜻이라고 생각한다.
에이전트는 코스를 포기했다. 점수 아이템이 계속 재생성되는 좁은 구역을 찾아내, 불타고 벽에 부딪히며 무한히 원을 돌았다. 그리고 사람 플레이어보다 평균 20% 높은 점수를 얻었다.
점수는 "이기기"의 대리지표였을 뿐이다. 그 대리지표를 진짜 목표로 넘겨받은 순간 게임은 끝났다.
최적화한 것을 얻게 된다. 그리고 ML에서 가장 쓴 교훈은, 그 안에서 가장 중요한 부분이 ML이 전혀 아니라는 것이다.
경제학자 찰스 굿하트의 법칙 — 메릴린 스트래던의 정식화로는 "측정값이 목표가 되는 순간, 그것은 좋은 측정값이기를 그친다" — 이 여기서 가장 비싸게 청구된다.
아래 위젯은 이 현상을 가장 단순하게 보여 준다. 다섯 개의 추천 방식은 고정이다. 알고리즘을 한 줄도 바꾸지 않는다. 오직 "무엇을 좋음으로 정의하는가"만 바꾼다. 승자가 계속 뒤집힌다.
지표의 측정 지평선이 짧을수록 팀은 그것을 사랑한다. 하루면 결과가 나오고, 실험 속도가 빠르고, 분기 목표에 넣기 좋다. 그리고 지평선이 짧을수록 진짜 목표와 어긋날 확률이 높다. 이 긴장은 기술로 해결되지 않는다. 누군가 결정해야 한다.
7부 — 반대 방향: 과제를 잘 고른 다섯 건
실패만 보면 균형이 안 맞는다. 위계의 위쪽 두 층을 먼저 세운 덕에 아래층이 폭발한 사례들도 보자.
사례
과제를 어떻게 다시 정의했나
데이터 층에서 한 일
결과
ImageNet (2009~2012)
"더 좋은 인식 알고리즘"이 아니라 "현실 규모의 범주 인식"으로 문제를 다시 그렸다
1,400만 장·2만 범주를 사람 손으로 라벨링
AlexNet top-5 오류 26.2%→15.3%. 판을 바꾼 건 알고리즘이 아니라 데이터셋이었다
AlphaFold 2 (2020)
CASP라는 이중맹검 평가가 과제를 대신 정의해 줬다 — 애매할 여지가 없다
PDB 구조 + 다중서열정렬
CASP14 중앙값 GDT 92.4. 50년 문제를 사실상 종결
Whisper (2022)
"깨끗한 벤치마크에서 WER 최소화"를 버리고 "야생의 어떤 음성이든 그럭저럭 받아쓰기"로 전환
약한 지도로 68만 시간 수집
아키텍처는 평범한 트랜스포머. 강건성이 승부를 갈랐다
Chinchilla (2022)
"파라미터를 얼마나 키울까"에서 "같은 예산을 파라미터와 토큰에 어떻게 배분할까"로 질문을 교체
토큰 예산을 4배 이상 늘림
70B 모델이 280B·175B·530B 모델을 이겼다
InstructGPT (2022)
다음 토큰 예측 → 사용자 의도 따르기
실제 API 요청에서 뽑은 프롬프트 + 40여 명의 시연·순위
1.3B가 175B를 이겼다. 연산은 1.6%
패턴이 보인다. 이 다섯 건 중 아키텍처 혁신이 주인공인 것은 하나도 없다. ImageNet과 Whisper는 데이터 수집 프로젝트였고, Chinchilla는 예산 배분 실험이었고, AlphaFold는 잘 정의된 대회가 있어서 가능했고, InstructGPT는 과제 전환이었다.
✅
페이페이 리가 ImageNet 시절에 한 말이 위계 전체를 요약한다 — "모두가 모델에 집중할 때 우리는 데이터에 집중했다." 그런데 데이터에 집중하려면 먼저 "무엇의 데이터인가"를 정해야 한다. 그게 위층이다.
직접 해 보기
이론은 알겠는데 실제로 어떻게 하냐 — 가 남는다. 아래 위젯에 현실적인 목표 셋을 준비했다. 각 목표마다 흔히 제안되는 네 가지 ML 과제 정의 중 하나를 골라 보자. 고른 뒤에 그 선택이 어디서 새는지를 보여 준다.
8부 — 계산에서 데이터로, 데이터에서 과제로
알메이다의 위계가 2026년에 설득력을 갖는 데에는 배경이 있다. 지난 6년 동안 업계의 관심사가 실제로 아래층에서 위층으로 한 칸씩 올라왔기 때문이다.
2019서튼, 「쓴 교훈」"계산을 활용하는 일반적 방법이 이긴다." 알고리즘 층에서 계산 층으로.
2020스케일링 법칙 (Kaplan 등)손실이 파라미터·데이터·연산의 거듭제곱 법칙으로 떨어진다. 당시 해석은 "파라미터를 키워라"에 가까웠고, GPT-3가 그 해석의 화신이었다.
2022친칠라 (Hoffmann 등)같은 연산 예산이면 모델을 줄이고 토큰을 늘려야 한다. 70B가 280B·175B·530B를 이겼다. 계산 층 안에서 데이터 층이 튀어나온 순간이다.
2022InstructGPT데이터 층에서 한 칸 더 올라간다. 같은 크기, 같은 아키텍처, 바꾼 것은 "무엇을 학습할 것인가"뿐.
2021–데이터 중심 AI 운동앤드루 응이 "모델을 고정하고 데이터를 고쳐라"를 캠페인으로 밀었다. 학계 바깥에서 먼저 받아들여졌다.
2024–25데이터 벽 논쟁고품질 공개 텍스트의 고갈이 예측되면서, "더 넣을 데이터"가 아니라 "무엇을 만들어 넣을 것인가"가 문제가 됐다. 합성 데이터와 환경 설계가 여기서 나온다.
2026가장 쓴 교훈마지막 층. "무엇을 ML 과제로 삼을 것인가"가 명시적으로 위계의 꼭대기에 올라온다.
친칠라는 특히 좋은 중간 사례다. 아키텍처를 바꾸지 않았고, 새 알고리즘도 없었고, 연산 예산도 그대로였다. 바꾼 것은 같은 예산을 파라미터와 토큰에 어떻게 나눌 것인가라는 질문 하나였다. 그 질문을 바꿨더니 4배 작은 모델이 이겼다. 위계에서 한 칸 위로 올라가면 보통 이런 일이 생긴다.
9부 — 자주 나오는 반론 셋
이 주장은 트위터와 해커뉴스에서 같은 반론을 반복해서 받는다. 셋 다 일리가 있어서 짚고 가는 편이 낫다.
"그래도 결국 스케일이 다 해결하지 않았나?"
부분적으로 맞다. GPT-4 이후의 모델들은 InstructGPT 시절에는 불가능했던 일을 한다. 하지만 그 모델들도 전부 정렬 단계를 거친다. 사전학습만 끝낸 원시 모델(base model)을 그대로 쓰는 제품은 없다. 즉 스케일은 위계의 아래층을 담당했고, 위층은 여전히 사람이 매 세대마다 다시 정의했다. 위층을 생략한 버전은 시장에 나온 적이 없으므로, "스케일이 다 해결했다"는 명제는 검증된 적이 없다.
"과제 고르기는 그냥 기획자 일 아닌가?"
이 반론이 사실 알메이다가 겨냥한 태도 그 자체다. 과제 정의를 ML 밖의 일로 밀어내는 순간, 그것은 아무도 책임지지 않는 일이 된다. 기획자는 모델이 무엇을 학습 가능한지 모르고, 연구자는 사용자가 무엇을 원하는지 모른다. InstructGPT의 실제 작업은 "API 로그에서 실제 프롬프트를 뽑고, 그 분포를 분류하고, 레이블러 40명에게 무엇을 좋은 답으로 칠지 가르치는" 일이었다. 이건 기획도 연구도 아니고, 둘 사이에 있는 일이다.
"벤치마크를 불신하면 진보를 어떻게 재나?"
이 반론이 가장 강하다. 벤치마크가 없으면 비교가 불가능하고, 비교가 불가능하면 과학이 아니다. 대답은 벤치마크를 버리는 게 아니라 벤치마크의 지위를 강등하는 것이다. 대리지표는 대리지표로 취급하고, 그것과 진짜 목표가 어긋나는 지점을 문서로 관리하고, 주기적으로 사람에게 직접 물어보는 비싼 평가를 섞는다. InstructGPT가 1~7점 사람 평가라는 느리고 비싼 지표를 본 지표로 쓴 것이 정확히 이 선택이었다.
🧭
실무 번역: 빠른 지표로 반복하고, 느린 지표로 방향을 잡는다. 둘을 같은 것으로 취급하는 순간 굿하트가 들어온다.
알메이다의 글이 2026년 9월에 나온 것은 우연이 아니다. 업계 전체가 같은 지점에 도착해 있다.
서튼 본인이 LLM을 "쓴 교훈 미달"이라고 부른다
2025년 9월, 드워케시 팟캐스트에 나온 서튼은 놀라운 말을 했다. LLM은 쓴 교훈을 따르고 있지 않다는 것이다.
논리는 이렇다. LLM에 쓰이는 계산의 대부분은 배포된 뒤 추론에서 소비되는데, 그 시간 동안 모델은 아무것도 배우지 않는다. 학습은 '훈련'이라는 별도 단계에서만 일어난다. 계산을 학습으로 전환하지 못하는 구조라면, 그건 계산을 제대로 활용하는 게 아니다. 서튼은 지속 학습(continual learning)이 가능한 새 아키텍처가 필요하며, 그것이 나오면 별도의 사전학습 단계 자체가 사라질 것이라고 본다.
즉 쓴 교훈의 저자 본인이 지금의 주류를 상대로 쓴 교훈을 휘두르고 있다. 논쟁은 끝나지 않았다.
일리야 수츠케버: 평가를 잘 보게 훈련하면 평가를 잘 보는 모델이 된다
2025년 11월, 일리야 수츠케버의 인터뷰는 "스케일의 시대(2020~2025)가 끝나고 연구의 시대가 시작됐다"는 선언으로 요약됐다. 그런데 이 특집의 맥락에서 더 중요한 부분은 그가 지목한 일반화 격차다.
모델은 벤치마크에서 거의 완벽에 수렴하는데 현실에서는 여전히 잘 깨진다. 그가 제시한 설명 중 하나 — 평가를 통과하도록 설계된 과제로 강화학습을 돌리면, 그 결과로 일반화 능력이 제한될 수 있다. 이건 알메이다의 주장과 정확히 같은 구조다. 평가 점수는 대리지표이고, 우리는 최적화한 것을 얻는다.
병목은 모델에서 환경과 평가로 옮겨 갔다
2025~2026년에 이 문장은 업계의 상식이 됐다. 검증 가능한 보상(RLVR)으로 학습하려면 검증 가능한 환경이 있어야 하고, 그 환경을 만드는 일이 곧 과제를 정의하는 일이다. 에이전트 하니스 설계, 평가셋 구축, 도구 정의 — 지금 프런티어 랩들이 가장 많은 사람을 쓰는 곳이 여기다.
브룩스가 2019년에 한 말이 다시 맞아떨어진다. 사람의 노동은 사라지지 않았다. 지식 코딩 → 데이터 라벨링 → 환경·평가 설계로 두 번 옮겨 갔을 뿐이다.
그리고 기업 현장의 숫자
MIT NANDA 프로젝트가 2025년에 낸 The GenAI Divide: State of AI in Business 보고서는 임원 인터뷰 52건, 리더 설문 153건, 공개 배포 사례 300건을 종합해 기업의 생성형 AI 파일럿 95%가 측정 가능한 수익을 내지 못하고 있다고 보고했다. 표본이 작고 설문 기반이라 숫자 자체는 조심해서 다뤄야 하지만, 보고서의 진단 문장은 이 특집의 요지와 정확히 같다.
실패는 기술에 있는 것이 아니라 접근 방식에 있다. 이 격차는 모델 품질이나 규제가 아니라 접근 방식이 결정하는 것으로 보인다.
구체적으로 지목된 원인은 세 가지 — 데이터 준비 부족, 업무 흐름과의 통합 실패, 그리고 착수 전에 정의된 결과물의 부재. 위계의 위 두 층이다.
글을 올리고 닷새 뒤, 알메이다는 TypeSafe AI의 첫 모델 Jev를 공개했다. 발표문의 첫 문장이 이 특집의 시작으로 돌아간다.
모델은 몇 년째 채팅에서 초인적이다. 그런데 자동화는 다 어디에 있는가?
그의 답은 "채팅이 자동화의 올바른 과제가 아니었다"는 것이다. 그래서 문자열 생성을 통째로 포기하고, 소프트웨어 안에서 곧바로 쓸 수 있는 구조화된 결정만 내보내는 모델을 만들었다고 주장한다. 카너먼의 시스템 1에서 이름을 따 "System One Model"이라 부르고, 학습 방법은 RLCD(Reinforcement Learning for Calibrated Decisions)라고 한다.
항목
기존 LLM
TypeSafe의 주장
최적화 대상
사람의 선호(RLHF) 또는 검증 가능한 보상(RLVR)
보정된 결정 — 확률이 실제 확률과 맞는가
출력
문자열. 파싱과 검증이 필요하고, 형식이 깨질 수 있다
타입 안전한 구조값. 스키마를 벗어날 수 없다
샘플링
토큰을 하나씩 순차 생성
한 번의 질의로 전부 병렬 산출
확신
물어봐도 과신하거나 들쭉날쭉하다
모든 출력에 보정된 확률이 붙는다
용도
사람이 개입하는 과제 — 챗봇·코파일럿·코딩 에이전트
코드 안의 "똑똑한 if 문" — 분류·라우팅·점수·추출·분기
회사가 내건 수치는 자사 워크플로 평가 기준 193.6배 빠름, 444.6배 저렴함, 응답 70~500밀리초다. 팀 채용 페이지의 슬로건은 "Build Prod, Not God" — 신을 만들지 말고 프로덕션을 만들라.
⚠️
이 수치들은 전부 회사 자체 발표다. 평가셋도 자사 모델 역량 팀이 만들었고, 기준 정답은 다른 프런티어 모델들의 평균이다. 회사 스스로 발표문에 그 한계를 길게 적어 뒀다는 점은 인정할 만하지만, 독립 검증은 아직 없다. 여기서는 "쓴 교훈의 위계를 믿는 사람이 그 믿음대로 회사를 세우면 어떤 모양이 되는가"의 사례로만 읽는 것이 안전하다.
흥미로운 점은 이 제품이 그의 에세이와 논리적으로 일관된다는 것이다. 그는 "자동화"라는 목표에 대해 "사람처럼 말하기"가 틀린 과제였다고 진단했고, 올바른 과제를 "소프트웨어가 의존할 수 있는 결정"으로 재정의했고, 그 과제에서는 문자열·순차 생성·거대 모델이 전부 불필요해진다고 결론 내렸다. 위계의 맨 위를 바꾸면 아래 세 층이 전부 다시 설계된다 — 정확히 그가 주장한 대로다.
이 글의 실용적 가치는 하나로 압축된다. 모델 성능을 짜내기 전에, 과제가 서 있는지부터 확인하라.
아래 여덟 문장은 본문에서 다룬 실패 사례 하나하나와 대응한다. 지금 진행 중인 프로젝트를 하나 떠올리고, 자신 있게 "예"라고 답할 수 있는 항목만 체크해 보자.
몇 가지 실행 지침을 덧붙인다.
1출력 → 행동을 한 문장으로 쓴다. "이 모델의 출력이 X이면 시스템/사람은 Y를 한다." 이 문장이 안 써지면 아직 과제가 없는 것이다. 예측 모델이 아니라 결정 모델로 문제를 세우면 대부분 해결된다.
2대리지표와 진짜 목표를 같은 문서에 나란히 적는다. 그리고 둘이 어긋나는 구간을 미리 적어 둔다. 6개월 뒤에 그 문서가 팀을 구한다.
3비용 비대칭을 숫자로 만든다. 틀렸을 때 손실과 맞았을 때 이득의 비율이 곧 임계값이다. 이걸 모르면 정확도 최적화가 손실 최적화가 된다.
4공개 데이터셋으로 시작하되, 거기서 멈추지 않는다. FLAN 120만 건이 실사용 1.1만 건에 진 이유는 데이터가 적어서가 아니라 다른 과제의 데이터여서다. 자체 사용 로그 수백 건이 공개 데이터 수십만 건보다 낫다.
5모델이 "모르겠다"고 말할 수 있게 한다. 95%를 맞히면서 나머지 5%가 언제인지 말하지 않는 모델은 자동화에 쓸 수 없다. 보정(calibration)은 정확도와 다른 축이다.
6라벨이 되돌아오는 경로를 먼저 만든다. 행동의 결과가 자동으로 정답이 되는 구조면 두 번째 배포부터 복리가 붙는다. 없으면 첫 배포가 마지막 배포다.
마치며 — 순서의 문제
서튼은 틀리지 않았다. 70년의 기록이 그의 편이다. 계산을 활용하는 일반적 방법은 계속 이겼고, 앞으로도 이길 것이다.
알메이다가 추가한 것은 전제 조건이다. 계산은 방향이 정해진 다음에야 힘이 된다. 방향이 틀린 상태에서 계산을 늘리면, 틀린 곳에 더 빨리 더 정확하게 도착할 뿐이다. 그리고 방향을 정하는 일 — 사용자를 관찰하고, 업무 구조를 뜯어보고, 비용의 비대칭을 재고, "무엇을 잘한 것으로 칠지"를 결정하는 일 — 은 ML 문제가 아니다.
The Bitterest Lesson
"최적화한 것을 얻게 된다. 그리고 ML에서 가장 쓴 교훈은, 그 안에서 가장 중요한 부분이 ML이 전혀 아니라는 것이다."
— Diogo Almeida, 2026년 9월 10일
쓴 교훈이 연구자에게 쓴 이유는 자기가 아끼던 알고리즘이 졌기 때문이었다. 가장 쓴 교훈이 쓴 이유는, 이긴 다음에도 아무 일이 일어나지 않을 수 있다는 것을 알려 주기 때문이다.
