AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 1
신경망 이론의 네 가지 뿌리 — 퍼셉트론부터 활성화 함수까지
Novikoff 수렴 정리의 (R/γ)² bound부터 XOR의 선형 분리 불가능성, MLP의 합성함수 구조, 활성화 함수별 gradient 안정성까지, 현대 딥러닝 이론의 기반을 추적한다.
series · neural-network-theory-deep-dive
📚 Neural Network Theory Deep Dive
총 7편 · 순서대로 읽기를 권장
AI 2026.04.28 · 15 min
Advanced Neural Network Theory Deep Dive · 2
신경망은 왜 어떤 함수든 근사할 수 있는가
Cybenko의 sigmoid 보편성 증명부터 Hornik의 일반화, ReLU의 구성적 증명, 깊이 분리, Barron의 차원 무관 수렴율까지 — Universal Approximation Theorem의 수학적 계보를 추적한다.
AI 2026.04.28 · 10 min
Advanced Neural Network Theory Deep Dive · 3
역전파는 왜 단 한 번의 backward pass로 충분한가
Jacobian과 연쇄법칙의 행렬 버전부터 softmax + cross-entropy의 기적적인 gradient까지, 역전파 알고리즘의 수학적 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 4
신경망 초기화는 왜 이렇게 복잡해졌는가
대칭성 깨기부터 Fixup까지, 분산 보존이라는 하나의 원칙이 Xavier, He, LSUV, Orthogonal 초기화를 어떻게 파생시켰는지 추적한다.
AI 2026.04.28 · 13 min
Advanced Neural Network Theory Deep Dive · 5
CNN의 설계 철학 — 왜 Convolution인가
Translation equivariance의 수학적 근거부터 VC 이론의 파라미터 효율, pooling의 invariance, 그리고 LeNet에서 EfficientNet까지 아키텍처 진화의 공통 원리를 추적한다.
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 6
RNN은 왜 긴 기억을 갖지 못하는가
Vanilla RNN의 BPTT부터 vanishing gradient의 수학적 원인, LSTM의 Constant Error Carousel, 그리고 Echo State Network까지 — 순환 구조의 설계 철학을 추적한다.
AI 2026.04.28 · 14 min
Advanced Neural Network Theory Deep Dive · 7
Transformer는 왜 작동하는가 — 설계 결정들의 공통 뿌리
√d_k 스케일링부터 Residual Connection까지, Transformer의 핵심 설계 결정들이 하나의 원칙 — '신호가 사라지지 않게 하라' — 에서 비롯됨을 추적한다.