AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 6
LR 스케줄링의 통일 원리 — 왜 하나의 철학으로 수렴하는가
고정 LR의 O(1/T) 보장부터 warmup의 curvature 안정화, cosine+warm restart의 local minimum 탐색, One-Cycle의 super-convergence까지, 현대 LR 스케줄링 전체를 관통하는 설계 원리를 추적한다.