#어텐션
5개의 포스트

말할수록 무거워지는 기억 — KV 캐시로 본 긴 대화의 비용, 2017년의 첫 캐시부터 GQA·페이지드 어텐션·MLA·어텐션 싱크까지 (특집)
챗봇과의 대화가 길어질수록 답이 느려지고 요금이 오르는 이유는 KV 캐시에 있다. 언어 모델은 한 토큰씩 글을 쓰는데, 앞서 읽은 모든 토큰의 ‘키(K)’와 ‘값(V)’을 메모리에 쌓아 두고 다시 꺼내 쓴다. 계산을 메모리와 맞바꾼 이 장치 덕분에 생성은 빨라졌지만, 대신 대화가 길어질수록 GPU 메모리를 정직하게 잡아먹는다. 이 글은 2017년 원조 트랜스포머 논문에는 없던 캐시가 석 달 뒤 구글 코드에 들어간 이야기에서 시작해, 헤드를 나눠 쓰는 MQA·GQA, 캐시를 압축해 담는 딥시크의 MLA, 운영체제의 가상 메모리를 빌려 온 페이지드 어텐션, 같은 앞부분을 재사용하는 프롬프트 캐싱, 캐시를 2비트로 줄이는 양자화, 그리고 모델이 첫 토큰을 ‘주의 하수구’로 쓴다는 어텐션 싱크까지 따라간다. 그리고 직접 쟀다. 사내 V100에서 Qwen3 0.6B~8B의 캐시 크기와 속도, 동시 사용자 한계, 앞부분 재사용 효과, 캐시 양자화, 창 크기 제한을 실험했고, 피티아의 학습 체크포인트를 거슬러 올라가 어텐션 싱크가 생기는 순간을 찾았다. 1.6만 토큰짜리 앞부분의 캐시를 재사용하자 Qwen3-8B의 첫 토큰이 54배 빨리 나왔다. 캐시를 4비트로 줄일 때 Qwen3는 키를 토큰별로 자르자 무너졌지만, 채널별로 자르면 멀쩡했다. 최근 토큰만 남기자 흔들리던 모델은 첫 토큰 하나를 붙잡아 두자 되살아났다. 인터랙티브 위젯 7종, 코어닷투데이 실측, 삽화 13장.

순서를 모르는 트랜스포머에게 순서를 가르치는 법 — 회전 위치 인코딩 RoPE와 100만 토큰 문맥 (특집)
트랜스포머의 어텐션은 단어 순서를 모른다. 위치 정보가 없으면 ‘dog bites man’과 ‘man bites dog’에서 dog가 받는 계산 결과가 똑같다. 2017년 사인파를 더하는 방식으로 시작한 위치 인코딩은, 2021년 중국 블로그에서 나온 ‘벡터를 위치만큼 돌린다’는 아이디어 RoPE로 수렴했고 지금 Llama·Qwen·Gemma·EXAONE이 모두 이를 쓴다. 이 글은 회전이 왜 상대 거리를 담는지 시계 바늘로 따라가고, 학습 길이를 넘으면 왜 무너지는지, 개인 개발자와 레딧 게시판이 논문보다 먼저 찾은 문맥 확장 트릭이 어떻게 YaRN과 100만 토큰 시대로 이어졌는지 정리한다. 2,048토큰만 배운 모델에게 8,192토큰을 읽힌 실측, 공개 모델 17종의 RoPE 설정 비교, 긴 문맥을 정말 다 쓰는지에 대한 평가까지 담았다. 인터랙티브 위젯 5종, 코어닷투데이 실측, 삽화 13장.

1만 프레임을 잊지 않는 법 — LingBot-Map과 기하 컨텍스트 어텐션
2026년 4월, 앤트그룹의 로봇 자회사가 카메라 영상만으로 1만 프레임 이상을 20 FPS로 3차원 복원하는 모델을 오픈소스로 공개했다. 핵심은 '무엇을 기억하고 무엇을 버릴지'를 어텐션 마스크로 학습시킨 것. 40년 된 SLAM의 지혜가 트랜스포머 안으로 들어온 순간을, 논문과 코드를 끝까지 따라가며 해부한다.

Attention Is Not What You Need: 어텐션 없이도 AI가 '생각'할 수 있다면?
2017년, 구글은 'Attention Is All You Need'로 AI 혁명을 열었다. 2025년 12월, 한 연구자가 같은 구조에 정면으로 반기를 든다 — 'Attention Is Not What You Need.' 어텐션 없이 기하학적 다양체 위에서 추론하는 새로운 시퀀스 모델링 패러다임을 해부한다.

Attention의 모든 것: '집중'이 AI의 역사를 바꾸기까지
2014년, 한 박사과정생이 '신경망에게 집중력을 주자'는 아이디어로 번역의 벽을 넘었다. 3년 뒤, 8명의 구글 연구자가 '집중만 있으면 된다'고 선언했다. Attention 메커니즘의 역사, 직관적 이해, 그리고 트랜스포머 혁명의 전 과정을 추적한다.