TECH BLOG
기술 블로그
AI 기술 인사이트와 엔지니어링 경험을 공유합니다.
ALL POSTS
모든 포스트
GPT-3 논문 해부: 예시 몇 개만으로 배우는 AI의 탄생
1,750억 파라미터, 예시 몇 개면 새 과제를 수행하는 AI. '파인튜닝 없이 학습한다'는 혁명적 발견이 어떻게 ChatGPT와 프롬프트 엔지니어링 시대를 열었는지, GPT-3 논문을 처음부터 끝까지 해부한다.
친칠라 스케일링 법칙: '더 크게'가 정답이 아니었다 — AI 훈련 패러다임을 뒤집은 논문
GPT-3는 '과소 훈련'된 모델이었다? 2022년 DeepMind의 친칠라 논문이 밝힌 '모델 크기 vs 데이터 양'의 최적 비율, 그리고 업계가 이를 넘어선 이유까지 — AI 스케일링의 역사를 총정리합니다.
양자화(Quantization) 완전 해부: 70B 모델을 내 노트북에서 돌리는 마법의 원리
280GB짜리 AI 모델을 35GB로 줄이면서 성능은 97%를 유지한다. 어떻게? FP32에서 INT4까지, BinaryConnect에서 BitNet까지 — 양자화의 역사, 원리, 실전 기법, 그리고 안전성 문제까지 총정리.
RLHF의 기원: '보상 함수를 쓸 수 없다면, 인간에게 물어보라'
ChatGPT를 만든 기술의 원조 논문. 보상 함수를 쓸 수 없는 과제를 인간의 선호 판단 1% 미만으로 해결한 2017년 논문을 해부하며, 강화학습의 기초부터 현대 AI까지의 여정을 쉽게 풀어낸다.
InstructGPT 해부: 1.3B 모델이 175B를 이긴 날, RLHF의 모든 것
GPT-3는 왜 '도움이 되는 비서'가 아니었을까? 100배 작은 모델이 거대 모델을 이긴 비결은? InstructGPT 논문을 해부하며, ChatGPT를 탄생시킨 RLHF 기술을 처음부터 쉽게 풀어낸다.
PagedAdamW 특집: GPU 메모리가 부족해도 LLM을 파인튜닝하는 법
650억 파라미터 모델을 48GB GPU 하나로 파인튜닝한다? QLoRA의 세 번째 비밀 무기 — PagedAdamW는 CUDA 통합 메모리로 옵티마이저 상태를 GPU↔CPU 사이에 자동으로 페이징한다. 8비트 옵티마이저부터 QLoRA까지, Tim Dettmers가 열어젖힌 효율적 파인튜닝의 역사를 추적한다.
LoRA 논문 해부: 1,750억 개의 손잡이 중 470만 개만 돌리다
GPT-3를 파인튜닝하려면 1.2TB 메모리가 필요하다. LoRA는 파라미터의 0.003%만 학습하여 동일한 성능을 달성했다. 350GB 체크포인트가 35MB로 줄었고, AI 맞춤화가 민주화됐다. 이 혁명의 원리를 처음부터 쉽게 풀어낸다.
Sophia 옵티마이저 특집: 곡률을 보는 눈으로 Adam을 2배 앞서다
Adam은 기울기만 본다. Sophia는 '지형의 곡률'까지 본다 — 가파른 골짜기에서는 조심스럽게, 평평한 평원에서는 과감하게. 스탠퍼드 팀이 만든 이 2차 옵티마이저는 GPT-2 학습을 2배 빠르게 만들었다. 그리고 같은 팀이 스스로 그 주장을 재검증했다.
GAN 완전 정복: 위조지폐범과 경찰의 두뇌 싸움이 만든 AI 혁명
술집 대화에서 탄생한 아이디어가 AI 이미지 생성의 역사를 바꿨습니다. GAN의 원리부터 딥페이크 논란, 그리고 디퓨전 모델과의 세대교체까지 — 생성 AI의 핵심을 재미있게 정리합니다.