TECH BLOG
기술 블로그
AI 기술 인사이트와 엔지니어링 경험을 공유합니다.
ALL POSTS
모든 포스트
셀프 어텐션의 모든 것: 단어들이 서로를 바라보는 법
2016년 '같은 문장 안에서 단어끼리 서로를 바라보게 하자'는 아이디어가 등장했다. 1년 뒤 트랜스포머가 이를 핵심 엔진으로 삼았고, GPT부터 AlphaFold까지 모든 현대 AI의 심장이 되었다. 셀프 어텐션의 탄생, 작동 원리, 변형, 그리고 미래를 추적한다.
Attention의 모든 것: '집중'이 AI의 역사를 바꾸기까지
2014년, 한 박사과정생이 '신경망에게 집중력을 주자'는 아이디어로 번역의 벽을 넘었다. 3년 뒤, 8명의 구글 연구자가 '집중만 있으면 된다'고 선언했다. Attention 메커니즘의 역사, 직관적 이해, 그리고 트랜스포머 혁명의 전 과정을 추적한다.
복잡계 네트워크의 모든 것: 쾨니히스베르크 다리에서 팬데믹 추적까지
1736년 오일러가 다리 문제를 풀며 시작된 그래프 이론은, 290년 뒤 전염병 추적, 금융 위기 예측, 뇌 지도 작성의 핵심 도구가 되었다. 복잡계 네트워크의 역사와 실전 분석 사례를 추적한다.
오토인코더 완전 정복: 데이터를 압축했다 복원하면 AI가 '이해'를 배운다
여행 가방에 짐을 압축하듯, 데이터의 핵심만 남기고 다시 복원하는 오토인코더. 이 단순한 아이디어가 이상 탐지, 노이즈 제거, 생성 AI의 기초가 된 이유를 사례와 함께 풀어봅니다.
CLIP 논문 해부: 이미지와 언어를 잇는 다리를 놓다
4억 장의 이미지-텍스트 쌍으로 학습하고, 한 번도 본 적 없는 ImageNet을 76.2% 정확도로 분류한 모델. DALL-E, Stable Diffusion, Midjourney — 모든 이미지 생성 AI의 눈이 된 CLIP 논문을 해부한다.
Mixture of Experts 완전 해부: 1.8조 파라미터인데 왜 빠른가
GPT-4는 1.8조 파라미터지만 추론 시 222B만 활성화된다. 어떻게 가능한가? 1991년 MIT에서 시작된 '전문가 혼합' 아이디어가 34년 뒤 모든 프론티어 AI 모델의 핵심 아키텍처가 되기까지 — Expert의 정체, 라우팅의 작동 원리, 실전 사례와 논란까지 완전 해부한다.
보편 근사 정리: 신경망은 정말로 아무 함수나 흉내 낼 수 있을까?
1969년 '퍼셉트론은 XOR도 못 푼다'는 선고로 AI 겨울이 시작되었다. 20년 뒤, 한 편의 논문이 반격했다 — '뉴런이 충분하면 어떤 함수든 근사할 수 있다.' 보편 근사 정리의 드라마틱한 역사를 레고 블록과 만화로 풀어본다.
지도학습 vs 비지도학습: 라벨 하나가 만드는 완전히 다른 세계
정답지가 있으면 지도학습, 없으면 비지도학습? 그렇게 단순하지 않습니다. 역사와 사례와 코드로, ML의 두 큰 축을 제대로 이해합니다.
머신러닝 vs 딥러닝: 같은 듯 다른 두 세계를 제대로 이해하기
머신러닝과 딥러닝, 대체 뭐가 다른 걸까요? 1950년대 퍼셉트론부터 2026년 파운데이션 모델까지, 역사와 논문과 사례로 두 개념의 차이를 명쾌하게 정리합니다.