#지식 증류
7개의 포스트
![[특집] Gemini 4 Hydrogen 해부 — 가장 가벼운 원소에게 '실행'을 맡긴 이유, 그리고 Claude·GPT와의 비교](/_next/image?url=https%3A%2F%2Ffiles.core.today%2Fstorage%2Fcoredot%2Fpublic%2Fblog%2Fhyd-cover.webp&w=3840&q=75)
[특집] Gemini 4 Hydrogen 해부 — 가장 가벼운 원소에게 '실행'을 맡긴 이유, 그리고 Claude·GPT와의 비교
구글이 11월 12일 Gemini 4 Hydrogen을 내놓으면서 제미나이 4세대가 처음으로 무료 사용자와 구글 검색 전체에 들어갔습니다. Hydrogen은 '가장 똑똑한 모델'이 아니라 '가장 빨리 일을 끝내는 모델'입니다. 이 글은 발표문, 8쪽 모델 카드, 4쪽 평가 방법 문서, 78쪽 안전 보고서, 그리고 Artificial Analysis·Vals·Terminal-Bench 리더보드를 맞춰 읽은 특집입니다. 2006년 '모델 압축'과 2015년 힌턴의 지식 증류에서 시작해 Flash 계보, 친칠라 이후의 '쓰는 값까지 계산하는' 설계, 생각 수준의 역사, 큰 모델과 작은 모델이 일을 나누는 오케스트레이터까지 풀었습니다. 발표문 GIF 차트 다섯 장을 멈춰 놓고 점을 다시 읽으면, 같은 점수를 가장 싸게 낸 모델은 GPT-6.1 Terra였고 Hydrogen의 무기는 값이 아니라 시간이라는 것이 보입니다. 터미널 작업에서는 xhigh가 high와 점수가 같았습니다. Vals 법률 시험의 '공동 1위 55.8%'는 사실 Carbon의 점수였고, 정직성 수치는 하루 만에 96.7%에서 94%로 조용히 바뀌었습니다. Claude Sonnet 5.5·Haiku 5.5, GPT-6.1 Terra·Luna와 가격·성능을 나란히 놓고, 일마다 무엇을 어떤 수준으로 쓸지 정리했습니다. 인터랙티브 6개, 일러스트 12장, 원문 그림 9장.

정답보다 오답이 더 많이 가르친다 — 지식 증류와 ‘어두운 지식’ (특집)
지식 증류는 큰 모델(교사)이 내놓은 확률 분포를 작은 모델(학생)이 따라 배우게 하는 기술이다. 2006년 앙상블 압축에서 출발해 2015년 힌턴·비냘스·딘이 ‘온도’와 ‘어두운 지식’이라는 이름을 붙였고 — 이 논문은 NeurIPS에서 떨어졌다 — 지금은 Gemma·Llama·Qwen 같은 작은 모델의 기본 공정이자 DeepSeek-R1 이후 추론 능력을 옮기는 방법, 그리고 2026년 ‘증류 공격’ 분쟁의 이름이 됐다. 이 글은 BMW와 쓰레기차와 당근의 비유로 어두운 지식을 설명하고, 힌턴의 MNIST 실험을 직접 재현해 숫자 3을 한 장도 보지 못한 학생이 3을 98.2% 맞히는 모습, 작은 학생에게 높은 온도가 독이 되는 이유, 라벨 1,000장과 교사 한 명이 라벨 1만 장보다 나은 결과를 보여 준다. Qwen3 형제 모델로 언어 모델의 소프트 라벨과 증류의 효과도 쟀다. 라벨 스무딩의 역설, 용량 격차, 모방의 거짓 약속, KL의 방향, 온폴리시 증류까지 짚고 실무 체크리스트로 마무리한다. 인터랙티브 위젯 6종, 코어닷투데이 실측 2건, 삽화 16장.

4B를 Flash로 가르치기 — 육하원칙 추출, 선생님 답 1,623개로 로컬 모델을 키우다
이 시리즈의 첫 글에서 클라우드 Gemini 3.8 Flash는 육하원칙 추출 0.86, 로컬 9B는 0.69였습니다. 그 0.16을 지식 증류로 좁혀 보려고 Flash에게 기사 1,709건의 답을 쓰게 하고(5.6달러), 그 답으로 Qwen3 4B를 맥 한 대에서 LoRA로 가르쳤습니다. 결과는 실패였습니다. 아무것도 가르치지 않은 Qwen3 4B 2507이 이미 9B와 같은 0.686이었고, 1,623개를 다 본 학생은 0.656으로 오히려 내려갔습니다. 학생은 선생님의 판단보다 버릇을 먼저 배웠습니다. 예제 200개 지점에서는 이유가 없는 기사 44건 중 42건에 이유를 지어냈고, 끝까지 배운 뒤에도 학습 전(0건)보다 많은 12건을 지어냈습니다. Flash와 Flash-Lite가 함께 채운 이유만 남긴 '보수적 교재'는 버릇을 고치고 같은 예제 수에서 점수를 0.04 올렸지만, 학습 전 모델은 넘지 못했습니다. 교훈은 하나입니다. 증류보다 먼저, 같은 크기의 최신 모델을 정의서만으로 재 보세요. 학습 곡선·칸별 비교·버릇 상속·전후 비교·손익분기 위젯 5개.

EdgeCrafter 완전 이해: 작은 ViT의 반란 — 태스크 특화 증류로 엣지에서 검출·분할·포즈를 동시에
범용 사전학습이 소형 ViT에게는 독이 된다? — DINOv3를 태스크 특화 교사로 변환하여 10M 파라미터 ViT가 검출 51.7%, 분할 43.0%, 포즈 68.9% AP를 달성한 EdgeCrafter의 이야기.

합성 데이터와 데이터 플라이휠: 인간의 데이터가 바닥날 때
인류가 만든 텍스트가 2028년이면 소진된다. 합성 데이터는 해답인가 함정인가? 1970년대 데이터 증강에서 2026년 자기 진화 플라이휠까지, 데이터의 미래를 논문과 프로덕션 사례로 추적한다.

70B 모델을 스마트폰에서 돌린다 — AI 추론 최적화의 모든 것
GPT급 거대 모델을 실시간으로, 저비용으로, 심지어 스마트폰에서도 돌리려면? 양자화, 프루닝, 지식 증류, 컴파일러 최적화까지 — AI 추론 최적화의 핵심 기법들을 실전 사례와 함께 총정리한다.

RT-DETRv4 완전 이해: 거인의 지혜를 빌리다 — 비전 파운데이션 모델이 실시간 검출을 바꾸는 법
추론 비용 0으로 DINOv3의 지혜를 실시간 검출기에 주입하다 — Deep Semantic Injector와 Gradient-guided Adaptive Modulation으로 YOLO13, D-FINE, DEIM을 모두 넘어선 RT-DETRv4의 이야기.