#Pythia
2개의 포스트
예시 네 개, 순서만 바꿨을 뿐인데 — GPT-3의 퓨샷부터 유도 헤드, 예시 수천 개까지, 문맥 내 학습의 모든 것 (특집)
언어 모델에게 예시 몇 개를 보여 주면, 다시 학습시키지 않아도 새 일을 한다. 2020년 GPT-3가 ‘문맥 내 학습’이라 이름 붙인 이 능력은 지금 모든 프롬프트의 기본기다. 이 글은 GPT-2의 ‘TL;DR:’, GPT-3의 퓨샷, 순서만 바꿔도 54%와 93%를 오간 2021년 실험, 정답 라벨을 무작위로 바꿔도 거의 그대로였다는 2022년 연구, 큰 모델만 뒤집힌 라벨을 따른다는 2023년 연구, 모델 안의 ‘유도 헤드’, 예시 수천 개를 넣는 many-shot과 그 그림자인 탈옥 공격, 그리고 예시가 오히려 해롭다는 추론 모델까지 따라간다. 그리고 직접 쟀다. Qwen3 0.6B부터 14B, 카카오 Kanana를 한국어·영어 과제 셋에 돌렸고, 피티아 학습 체크포인트를 거슬러 올라가며 유도 헤드가 생기는 순간을 다시 찾았다. 같은 예시 네 개의 순서만 바꿔도 작은 모델의 한국어 감정 분류는 21%포인트 흔들렸고, 큰 모델에서는 그 폭이 줄었다. 라벨을 전부 뒤집으면 8B까지의 Qwen3 베이스 모델은 대부분 한쪽 라벨로 몰아 답했지만, 14B는 영어에서 뒤집힌 규칙을 따라 정확도가 28.5%로 떨어졌다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.
말할수록 무거워지는 기억 — KV 캐시로 본 긴 대화의 비용, 2017년의 첫 캐시부터 GQA·페이지드 어텐션·MLA·어텐션 싱크까지 (특집)
챗봇과의 대화가 길어질수록 답이 느려지고 요금이 오르는 이유는 KV 캐시에 있다. 언어 모델은 한 토큰씩 글을 쓰는데, 앞서 읽은 모든 토큰의 ‘키(K)’와 ‘값(V)’을 메모리에 쌓아 두고 다시 꺼내 쓴다. 계산을 메모리와 맞바꾼 이 장치 덕분에 생성은 빨라졌지만, 대신 대화가 길어질수록 GPU 메모리를 정직하게 잡아먹는다. 이 글은 2017년 원조 트랜스포머 논문에는 없던 캐시가 석 달 뒤 구글 코드에 들어간 이야기에서 시작해, 헤드를 나눠 쓰는 MQA·GQA, 캐시를 압축해 담는 딥시크의 MLA, 운영체제의 가상 메모리를 빌려 온 페이지드 어텐션, 같은 앞부분을 재사용하는 프롬프트 캐싱, 캐시를 2비트로 줄이는 양자화, 그리고 모델이 첫 토큰을 ‘주의 하수구’로 쓴다는 어텐션 싱크까지 따라간다. 그리고 직접 쟀다. 사내 V100에서 Qwen3 0.6B~8B의 캐시 크기와 속도, 동시 사용자 한계, 앞부분 재사용 효과, 캐시 양자화, 창 크기 제한을 실험했고, 피티아의 학습 체크포인트를 거슬러 올라가 어텐션 싱크가 생기는 순간을 찾았다. 1.6만 토큰짜리 앞부분의 캐시를 재사용하자 Qwen3-8B의 첫 토큰이 54배 빨리 나왔다. 캐시를 4비트로 줄일 때 Qwen3는 키를 토큰별로 자르자 무너졌지만, 채널별로 자르면 멀쩡했다. 최근 토큰만 남기자 흔들리던 모델은 첫 토큰 하나를 붙잡아 두자 되살아났다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.