TECH BLOG
기술 블로그
AI 기술 인사이트와 엔지니어링 경험을 공유합니다.
ALL POSTS
모든 포스트
기술활성화 함수ReLU
2025.06.17활성화 함수의 모든 것: 전등 스위치에서 SwiGLU까지
1943년 '뉴런은 전등 스위치다'라는 모델에서 시작해, 시그모이드의 기울기 소실을 넘고, ReLU의 단순한 혁명을 거쳐, AI가 스스로 발견한 Swish까지 — 활성화 함수 80년의 역사를 추적한다.
코어닷투데이27분
기술경사하강법옵티마이저
2025.06.10경사하강법의 모든 것: 공이 골짜기를 찾아가는 180년의 여정
1847년 코시가 '가장 가파른 내리막으로 걸어라'고 제안한 이래, 경사하강법은 모멘텀을 얻고, 적응적 학습률을 갖추고, AI가 스스로 발견하는 단계까지 진화했다. 손실 지형 위를 굴러가는 공의 180년 여정을 추적한다.
코어닷투데이24분
소식AI기술블로그
2025.06.09코어닷투데이 기술 블로그를 시작합니다
코어닷투데이의 기술 블로그를 통해 AI 기술 인사이트와 엔지니어링 경험을 공유합니다.
코어닷투데이2분