AI 2026.04.28 · 13 min
Advanced Regularization Theory Deep Dive · 3
Normalization은 어떻게 깊은 네트워크를 훈련 가능하게 만드는가
BatchNorm의 ICS 신화 반박부터 RMSNorm이 현대 LLM의 표준이 되기까지, 정규화 기법의 설계 철학과 진화를 추적한다.
tag
#normalization
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 7
딥러닝 미분의 통일된 언어 — 야코비안에서 암묵적 미분까지
Softmax 야코비안의 행렬 구조부터 DEQ의 고정점 역전파, MAML의 2차 미분까지 — 딥러닝 최적화를 관통하는 하나의 언어를 추적한다.