coredot.today
블로그로 돌아가기

#GPT-3

4개의 포스트

예시 네 개, 순서만 바꿨을 뿐인데 — GPT-3의 퓨샷부터 유도 헤드, 예시 수천 개까지, 문맥 내 학습의 모든 것 (특집)
특집문맥 내 학습In-context learning
2026.11.07

예시 네 개, 순서만 바꿨을 뿐인데 — GPT-3의 퓨샷부터 유도 헤드, 예시 수천 개까지, 문맥 내 학습의 모든 것 (특집)

언어 모델에게 예시 몇 개를 보여 주면, 다시 학습시키지 않아도 새 일을 한다. 2020년 GPT-3가 ‘문맥 내 학습’이라 이름 붙인 이 능력은 지금 모든 프롬프트의 기본기다. 이 글은 GPT-2의 ‘TL;DR:’, GPT-3의 퓨샷, 순서만 바꿔도 54%와 93%를 오간 2021년 실험, 정답 라벨을 무작위로 바꿔도 거의 그대로였다는 2022년 연구, 큰 모델만 뒤집힌 라벨을 따른다는 2023년 연구, 모델 안의 ‘유도 헤드’, 예시 수천 개를 넣는 many-shot과 그 그림자인 탈옥 공격, 그리고 예시가 오히려 해롭다는 추론 모델까지 따라간다. 그리고 직접 쟀다. Qwen3 0.6B부터 14B, 카카오 Kanana를 한국어·영어 과제 셋에 돌렸고, 피티아 학습 체크포인트를 거슬러 올라가며 유도 헤드가 생기는 순간을 다시 찾았다. 같은 예시 네 개의 순서만 바꿔도 작은 모델의 한국어 감정 분류는 21%포인트 흔들렸고, 큰 모델에서는 그 폭이 줄었다. 라벨을 전부 뒤집으면 8B까지의 Qwen3 베이스 모델은 대부분 한쪽 라벨로 몰아 답했지만, 14B는 영어에서 뒤집힌 규칙을 따라 정확도가 28.5%로 떨어졌다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.

코어닷투데이56분
Scaling Laws 특집: AI에 돈을 쏟으면 얼마나 똑똑해질까 — 예측 가능해진 AI의 성장 법칙
인사이트Scaling LawsKaplan
2026.03.20

Scaling Laws 특집: AI에 돈을 쏟으면 얼마나 똑똑해질까 — 예측 가능해진 AI의 성장 법칙

AI 모델에 10배의 자원을 투입하면 성능이 얼마나 오를까? 2020년 Kaplan의 법칙은 '모델을 키워라'고 답했고, 2022년 Chinchilla는 '데이터를 키워라'로 뒤집었다. 수십억 달러 투자를 좌우하는 두 법칙의 탄생, 충돌, 그리고 2026년의 새로운 스케일링까지를 추적한다.

코어닷투데이58분
GPT-3 논문 해부: 예시 몇 개만으로 배우는 AI의 탄생
기술GPT-3Few-Shot Learning
2025.10.21

GPT-3 논문 해부: 예시 몇 개만으로 배우는 AI의 탄생

1,750억 파라미터, 예시 몇 개면 새 과제를 수행하는 AI. '파인튜닝 없이 학습한다'는 혁명적 발견이 어떻게 ChatGPT와 프롬프트 엔지니어링 시대를 열었는지, GPT-3 논문을 처음부터 끝까지 해부한다.

코어닷투데이43분
InstructGPT 해부: 1.3B 모델이 175B를 이긴 날, RLHF의 모든 것
기술InstructGPTRLHF
2025.10.07

InstructGPT 해부: 1.3B 모델이 175B를 이긴 날, RLHF의 모든 것

GPT-3는 왜 '도움이 되는 비서'가 아니었을까? 100배 작은 모델이 거대 모델을 이긴 비결은? InstructGPT 논문을 해부하며, ChatGPT를 탄생시킨 RLHF 기술을 처음부터 쉽게 풀어낸다.

코어닷투데이31분