AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 2
SGD는 왜 수렴하는가 — Robbins–Monro부터 Implicit Regularization까지
학습률 스케줄의 수학적 근거인 Robbins–Monro 조건부터 SGD noise가 flat minima를 선호하는 이유까지, 딥러닝 최적화의 이론적 토대를 추적한다.
tag
#sgd
총 7개의 글
AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 3
Momentum은 왜 빠른가 — 관성에서 진동까지
Polyak Heavy Ball의 √κ 가속 유도부터 NAG의 O(1/T²) 최적성, ODE 해석, 진동 조건, SGD 노이즈 누적까지 — Momentum optimizer의 설계 철학을 추적한다.
AI 2026.04.28 · 12 min
Advanced Generalization Theory Deep Dive · 5
Grokking은 왜 일어나는가 — 지연 일반화의 수학
훈련 손실이 0이 된 이후에도 수만 스텝 뒤에 테스트 정확도가 갑자기 100%로 뛰는 grokking 현상의 메커니즘부터, SGD implicit bias와 simplicity bias의 양날 구조까지 추적한다.
AI 2026.04.28 · 11 min
Advanced Stochastic Processes Deep Dive · 5
마팅게일은 왜 현대 AI 이론의 언어인가
공정한 게임의 수학적 추상인 마팅게일이 SGD 수렴, RL 정책 평가, bandit 탐색-활용 균형까지 어떻게 하나의 언어로 연결되는가.
AI 2026.04.28 · 11 min
Advanced Regularization Theory Deep Dive · 6
훈련이 곧 정규화다 — Implicit Regularization의 세 얼굴
Early stopping이 L2 regularization과 동치인 이유부터 SGD의 max-margin 편향, 과매개변수화 모델의 최소-노름 해까지, 암묵적 정규화의 통합 구조를 추적한다.
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 6
LR 스케줄링의 통일 원리 — 왜 하나의 철학으로 수렴하는가
고정 LR의 O(1/T) 보장부터 warmup의 curvature 안정화, cosine+warm restart의 local minimum 탐색, One-Cycle의 super-convergence까지, 현대 LR 스케줄링 전체를 관통하는 설계 원리를 추적한다.
AI 2026.04.28 · 11 min
Advanced Statistical Learning Theory Deep Dive · 6
SGD는 왜 일반화하는가 — Stability 이론의 답
가설공간 복잡도 대신 알고리즘의 robustness를 측정하는 Uniform Stability 프레임워크에서, Ridge Regression의 O(1/λn)과 SGD의 O(ηT/n) 경계까지 추적한다.