#SOAP

2개의 포스트

2026.03.20

PINN은 왜 자꾸 딴길로 샐까 — Gradient Alignment와 2차 최적화로 다시 읽는 물리 AI

PINN은 왜 물리식을 알고도 자주 학습에 실패할까? Gradient Alignment 논문을 중심으로, gradient conflict의 정체, SOAP와 Newton 계열 preconditioning의 의미, 그리고 2026년 현재 PINN의 역할까지 쉽고 깊게 풀어본다.

코어닷투데이45분

기술Shampoo옵티마이저

2025.12.10

Shampoo 옵티마이저 특집: 행렬의 구조를 보는 사전조건화의 예술

Adam은 파라미터를 개별 숫자로 본다. Shampoo는 가중치 '행렬'의 행과 열 구조를 본다 — 크로네커 분해로 2차 정보를 효율적으로 포착하면서, 뉴턴법의 정밀함과 1차 방법의 효율성 사이 최적점을 찾는다. Google 프로덕션에 배치되고, AlgoPerf 대회에서 우승하고, SOAP과 Muon으로 진화한 이 옵티마이저의 전 이야기.

코어닷투데이24분