AI 2026.04.28 · 12 min
Advanced Statistical Learning Theory Deep Dive · 1
학습이란 무엇인가 — 통계적 학습 이론의 기초 언어
진짜 위험과 경험 위험의 차이부터 No Free Lunch 정리와 iid 가정이 깨지는 경우까지, 통계적 학습 이론의 핵심 정식화를 추적한다.
series · statistical-learning-theory-deep-dive
📚 Statistical Learning Theory Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.04.28 · 13 min
Advanced Statistical Learning Theory Deep Dive · 2
집중부등식은 왜 ML 이론의 기초인가
Markov의 indicator trick부터 Bernstein의 분산 의존 경계까지, 집중부등식의 위계와 각 부등식이 ML 이론에서 담당하는 역할을 추적한다.
AI 2026.04.28 · 10 min
Advanced Statistical Learning Theory Deep Dive · 3
PAC Learning이란 무엇인가 — 학습 가능성의 수학적 정의
Valiant의 PAC learnability 정의부터 Fundamental Theorem까지, '얼마나 많은 데이터가 있으면 학습이 보장되는가'를 추적한다.
AI 2026.04.28 · 13 min
Advanced Statistical Learning Theory Deep Dive · 4
VC 차원은 왜 신경망을 설명하지 못하는가
Shattering과 VC 차원의 정의부터 Sauer-Shelah Lemma를 거친 VC 경계 유도, 그리고 현대 딥러닝에서 이 경계가 왜 완전히 무너지는지까지 추적한다.
AI 2026.04.28 · 11 min
Advanced Statistical Learning Theory Deep Dive · 5
Rademacher 복잡도는 왜 VC보다 강한가
랜덤 라벨 상관성으로 함수족의 표현력을 측정하는 Rademacher 복잡도의 정의부터, Symmetrization-McDiarmid 기반 일반화 경계, Contraction Lemma를 통한 surrogate loss 정당화, 그리고 신경망 norm-based bound까지 추적한다.
AI 2026.04.28 · 11 min
Advanced Statistical Learning Theory Deep Dive · 6
SGD는 왜 일반화하는가 — Stability 이론의 답
가설공간 복잡도 대신 알고리즘의 robustness를 측정하는 Uniform Stability 프레임워크에서, Ridge Regression의 O(1/λn)과 SGD의 O(ηT/n) 경계까지 추적한다.
AI 2026.04.28 · 13 min
Advanced Statistical Learning Theory Deep Dive · 7
모델 복잡도를 어떻게 선택해야 하는가
SRM의 VC 기반 penalty부터 AIC/BIC의 정보이론적 근거, Cross-Validation의 경험적 추정, 그리고 VC·Rademacher·Stability 세 관점의 대비까지, 일반화 이론의 통일 원리를 추적한다.