TECH BLOG
기술 블로그
AI 기술 인사이트와 엔지니어링 경험을 공유합니다.
ALL POSTS
모든 포스트
Lion 옵티마이저 특집: AI가 스스로 발견한 최적화 알고리즘
2023년, Google Brain의 AI가 수십만 개의 프로그램을 진화시켜 옵티마이저를 '발견'했다. 그 이름은 Lion — Adam보다 메모리를 절반만 쓰고, 확산 모델에서 2.3배 빠르며, Google 검색 광고에 배치된 최초의 'AI가 만든 AI 구성 요소'. 발견 과정, 알고리즘, 성능, 한계까지 깊이 파헤친다.
AdamW 특집: 왜 거의 모든 LLM이 이 옵티마이저를 쓰는가
2017년, 프라이부르크의 두 연구자가 Adam의 가중치 감쇠에 숨겨진 버그를 발견했다. 이 '수정'이 BERT, GPT-3, LLaMA 등 거의 모든 대규모 언어 모델 학습의 표준이 되기까지 — AdamW의 탄생, 수학적 원리, 그리고 현대 AI에서의 위상을 추적한다.
셀프 어텐션의 모든 것: 단어들이 서로를 바라보는 법
2016년 '같은 문장 안에서 단어끼리 서로를 바라보게 하자'는 아이디어가 등장했다. 1년 뒤 트랜스포머가 이를 핵심 엔진으로 삼았고, GPT부터 AlphaFold까지 모든 현대 AI의 심장이 되었다. 셀프 어텐션의 탄생, 작동 원리, 변형, 그리고 미래를 추적한다.
Attention의 모든 것: '집중'이 AI의 역사를 바꾸기까지
2014년, 한 박사과정생이 '신경망에게 집중력을 주자'는 아이디어로 번역의 벽을 넘었다. 3년 뒤, 8명의 구글 연구자가 '집중만 있으면 된다'고 선언했다. Attention 메커니즘의 역사, 직관적 이해, 그리고 트랜스포머 혁명의 전 과정을 추적한다.
복잡계 네트워크의 모든 것: 쾨니히스베르크 다리에서 팬데믹 추적까지
1736년 오일러가 다리 문제를 풀며 시작된 그래프 이론은, 290년 뒤 전염병 추적, 금융 위기 예측, 뇌 지도 작성의 핵심 도구가 되었다. 복잡계 네트워크의 역사와 실전 분석 사례를 추적한다.
오토인코더 완전 정복: 데이터를 압축했다 복원하면 AI가 '이해'를 배운다
여행 가방에 짐을 압축하듯, 데이터의 핵심만 남기고 다시 복원하는 오토인코더. 이 단순한 아이디어가 이상 탐지, 노이즈 제거, 생성 AI의 기초가 된 이유를 사례와 함께 풀어봅니다.
CLIP 논문 해부: 이미지와 언어를 잇는 다리를 놓다
4억 장의 이미지-텍스트 쌍으로 학습하고, 한 번도 본 적 없는 ImageNet을 76.2% 정확도로 분류한 모델. DALL-E, Stable Diffusion, Midjourney — 모든 이미지 생성 AI의 눈이 된 CLIP 논문을 해부한다.
Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가
GPT-4는 1.8조 파라미터지만 추론 시 222B만 활성화된다. 어떻게 가능한가? 1991년 MIT에서 시작된 '전문가 혼합' 아이디어가 34년 뒤 모든 프론티어 AI 모델의 핵심 아키텍처가 되기까지 — Expert의 정체, 라우팅의 작동 원리, 실전 사례와 논란까지 완전 해부한다.
보편 근사 정리: 신경망은 정말로 아무 함수나 흉내 낼 수 있을까?
1969년 '퍼셉트론은 XOR도 못 푼다'는 선고로 AI 겨울이 시작되었다. 20년 뒤, 한 편의 논문이 반격했다 — '뉴런이 충분하면 어떤 함수든 근사할 수 있다.' 보편 근사 정리의 드라마틱한 역사를 레고 블록과 만화로 풀어본다.