#스케일링 법칙
5개의 포스트
데이터가 유일한 해자다 — AI 앱 시대, 무엇이 진짜 방어선인가
\"모델은 곧 상품이 된다. 그럼 우리에게 남는 건 뭔가?\" 2026년 모든 AI 회사가 마주한 질문에 대한 한 가지 답 — 데이터. 그런데 2019년 a16z는 '데이터 해자는 텅 빈 약속'이라고 못 박았다. 누가 맞는가? 구글의 클릭 로그와 아마존의 추천 엔진에서 시작해, 친칠라 논문이 데이터를 왕좌에 앉힌 순간, 인류의 텍스트가 바닥나는 2026~2032년, 그리고 RLVR이 바꾼 '어떤 데이터가 중요한가'라는 질문까지 추적한다. 핵심은 데이터의 '양'이 아니라 피드백 밀도 — 왜 코딩 에이전트는 이겼고 슬라이드 생성기는 지지부진했는지, 2×2 지도와 계산기로 직접 확인해 본다.
지수곡선 위의 정책: 다리오 아모데이는 왜 '나무수염'을 깨우려 하는가
2026년 6월, Anthropic CEO 다리오 아모데이가 '지수곡선 위의 정책'이라는 에세이를 발표했다. AI는 빛의 속도로 달리는데 정책은 거목(나무수염)의 속도로 움직인다는 이 글은, 발표 이틀 뒤 미국 정부가 바로 그 글이 말한 권한을 Anthropic 자신에게 휘두르면서 더 큰 화제가 됐다. '지수곡선'이 대체 무엇인지(스케일링 법칙과 트랜스포머)부터 그가 제안한 5대 정책까지, 2026년 가장 뜨거운 AI 정책 문서를 쉽고 자세하게 풀어본다.
UAT에서 LoRA까지: 신경망이 세상을 배우는 수학적 여정
1989년, 한 수학 정리가 증명했다 — 뉴런이 충분하면 어떤 함수든 흉내 낼 수 있다. 이 '보편 근사 정리'에서 출발하여, 깊이의 혁명, Transformer, 스케일링 법칙을 거쳐 LoRA까지 — 신경망이 세상의 모든 것을 배우는 수학적 여정을 따라간다.
Byte Latent Transformer: 토큰을 버리고 바이트로 돌아간 AI의 반란
GPT부터 Llama까지, 모든 LLM은 '토크나이저'라는 전처리 단계에 의존한다. Meta AI의 BLT는 이 관행을 뒤집었다 — 바이트를 직접 처리하되, 엔트로피 기반으로 '어려운 곳에 더 많은 연산'을 동적 할당하여 80억 스케일에서 Llama 3에 필적하는 성능을 달성했다.
친칠라 스케일링 법칙: '더 크게'가 정답이 아니었다 — AI 훈련 패러다임을 뒤집은 논문
GPT-3는 '과소 훈련'된 모델이었다? 2022년 DeepMind의 친칠라 논문이 밝힌 '모델 크기 vs 데이터 양'의 최적 비율, 그리고 업계가 이를 넘어선 이유까지 — AI 스케일링의 역사를 총정리합니다.