AI 2026.04.28 · 13 min
Advanced Regularization Theory Deep Dive · 2
Dropout은 왜 세 가지 얼굴을 가지는가
앙상블 근사, Variational Inference, Adaptive L2라는 세 해석이 하나의 알고리즘에서 어떻게 공존하는지, 그리고 변종들이 그 철학을 어떻게 확장하는지 추적한다.
tag
#deep-learning
총 6개의 글
AI 2026.04.28 · 14 min
Advanced Functional Analysis Deep Dive · 3
함수해석학은 왜 딥러닝의 언어인가
유계 선형 연산자의 안정성 조건부터 Hahn-Banach의 분리 정리, 약수렴의 컴팩트성까지 — 신경망 설계에 숨어있는 함수해석학의 통일 원리를 추적한다.
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 4
신경망 초기화는 왜 이렇게 복잡해졌는가
대칭성 깨기부터 Fixup까지, 분산 보존이라는 하나의 원칙이 Xavier, He, LSUV, Orthogonal 초기화를 어떻게 파생시켰는지 추적한다.
AI 2026.04.28 · 13 min
Advanced Statistical Learning Theory Deep Dive · 4
VC 차원은 왜 신경망을 설명하지 못하는가
Shattering과 VC 차원의 정의부터 Sauer-Shelah Lemma를 거친 VC 경계 유도, 그리고 현대 딥러닝에서 이 경계가 왜 완전히 무너지는지까지 추적한다.
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 5
역전파는 어떻게 수십억 파라미터의 기울기를 한 번에 계산하는가
계산 그래프와 자동미분의 수학적 구조부터 기울기 소실·폭발의 원인과 해결책, Autograd 엔진의 내부 동작까지 딥러닝 최적화의 핵심을 추적한다.
AI 2026.04.28 · 11 min
Advanced Kernel Methods Deep Dive · 7
Kernel Method는 어디서 Neural Network와 만나는가
MKL의 볼록 결합부터 Random Features의 Fourier 근사, Deep Kernel Learning의 공동 학습, NTK의 무한폭 동치까지 — kernel theory가 deep learning으로 수렴하는 경로를 추적한다.