AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 1
신경망 이론의 네 가지 뿌리 — 퍼셉트론부터 활성화 함수까지
Novikoff 수렴 정리의 (R/γ)² bound부터 XOR의 선형 분리 불가능성, MLP의 합성함수 구조, 활성화 함수별 gradient 안정성까지, 현대 딥러닝 이론의 기반을 추적한다.
tag
#neural-network
총 5개의 글
AI 2026.04.28 · 15 min
Advanced Neural Network Theory Deep Dive · 2
신경망은 왜 어떤 함수든 근사할 수 있는가
Cybenko의 sigmoid 보편성 증명부터 Hornik의 일반화, ReLU의 구성적 증명, 깊이 분리, Barron의 차원 무관 수렴율까지 — Universal Approximation Theorem의 수학적 계보를 추적한다.
AI 2026.04.28 · 10 min
Advanced Neural Network Theory Deep Dive · 3
역전파는 왜 단 한 번의 backward pass로 충분한가
Jacobian과 연쇄법칙의 행렬 버전부터 softmax + cross-entropy의 기적적인 gradient까지, 역전파 알고리즘의 수학적 구조를 추적한다.
AI 2026.04.28 · 11 min
Advanced Statistical Learning Theory Deep Dive · 5
Rademacher 복잡도는 왜 VC보다 강한가
랜덤 라벨 상관성으로 함수족의 표현력을 측정하는 Rademacher 복잡도의 정의부터, Symmetrization-McDiarmid 기반 일반화 경계, Contraction Lemma를 통한 surrogate loss 정당화, 그리고 신경망 norm-based bound까지 추적한다.
AI 2026.04.28 · 13 min
Advanced Linear Algebra Deep Dive · 6
텐서란 무엇인가 — 좌표를 넘어선 다중선형 대상
다차원 배열이라는 직관에서 벗어나 다중선형 사상으로 텐서를 재정의하고, Kronecker 곱·einsum·분해·신경망 가중치까지 하나의 언어로 통합한다.