AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 1
Gradient Descent의 수렴 보장은 어디까지인가
Steepest descent의 기하학적 유도부터 convex/strongly convex/non-convex 수렴 속도 비교, proximal gradient까지 — GD 계열 알고리즘의 이론적 한계를 추적한다.
series · optimization-theory-deep-dive
📚 Optimization Theory Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 2
SGD는 왜 수렴하는가 — Robbins–Monro부터 Implicit Regularization까지
학습률 스케줄의 수학적 근거인 Robbins–Monro 조건부터 SGD noise가 flat minima를 선호하는 이유까지, 딥러닝 최적화의 이론적 토대를 추적한다.
AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 3
Momentum은 왜 빠른가 — 관성에서 진동까지
Polyak Heavy Ball의 √κ 가속 유도부터 NAG의 O(1/T²) 최적성, ODE 해석, 진동 조건, SGD 노이즈 누적까지 — Momentum optimizer의 설계 철학을 추적한다.
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 4
Adam은 왜 수렴을 보장하지 못하는가
AdaGrad의 누적 분산에서 출발해 RMSProp의 이동평균, Adam의 편향 보정, 수렴 반례, 그리고 AMSGrad·AdamW·Lion까지 — adaptive optimizer 계보의 설계 결정을 추적한다.
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 5
Loss Landscape는 어떻게 생겼는가
고차원 saddle point의 통계적 희귀성부터 NTK의 lazy regime까지, 딥러닝 loss landscape의 기하학을 하나의 프레임으로 추적한다.
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 6
LR 스케줄링의 통일 원리 — 왜 하나의 철학으로 수렴하는가
고정 LR의 O(1/T) 보장부터 warmup의 curvature 안정화, cosine+warm restart의 local minimum 탐색, One-Cycle의 super-convergence까지, 현대 LR 스케줄링 전체를 관통하는 설계 원리를 추적한다.
AI 2026.04.28 · 12 min
Advanced Optimization Theory Deep Dive · 7
딥러닝 최적화의 숨은 기하학 — Sharpness에서 Fisher까지
Loss landscape의 sharpness가 2/η 경계에 자가 안정화되는 Edge-of-Stability부터 Fisher metric 위의 Natural Gradient까지, 딥러닝 최적화의 공통 원리를 추적한다.