AI 2026.04.28 · 13 min
Advanced Generalization Theory Deep Dive · 1
고전 일반화 이론은 왜 딥러닝 앞에서 무너지는가
ResNet50의 VC 차원이 10의 10제곱에 달하는 이유부터 uniform convergence의 구조적 실패, implicit regularization, 그리고 4가지 일반화 퍼즐까지 — 고전 이론이 어디서 깨지는지 추적한다.
tag
#implicit-regularization
총 3개의 글
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 2
SGD는 왜 수렴하는가 — Robbins–Monro부터 Implicit Regularization까지
학습률 스케줄의 수학적 근거인 Robbins–Monro 조건부터 SGD noise가 flat minima를 선호하는 이유까지, 딥러닝 최적화의 이론적 토대를 추적한다.
AI 2026.04.28 · 11 min
Advanced Regularization Theory Deep Dive · 6
훈련이 곧 정규화다 — Implicit Regularization의 세 얼굴
Early stopping이 L2 regularization과 동치인 이유부터 SGD의 max-margin 편향, 과매개변수화 모델의 최소-노름 해까지, 암묵적 정규화의 통합 구조를 추적한다.