AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 1
신경망 이론의 네 가지 뿌리 — 퍼셉트론부터 활성화 함수까지
Novikoff 수렴 정리의 (R/γ)² bound부터 XOR의 선형 분리 불가능성, MLP의 합성함수 구조, 활성화 함수별 gradient 안정성까지, 현대 딥러닝 이론의 기반을 추적한다.
tag
#gradient
총 3개의 글
AI 2026.04.28 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계되었는가
Unrolled graph에서 BPTT 유도, truncated BPTT의 메모리 절약, 복잡도 분석, RTRL까지 — RNN 학습 알고리즘의 통일된 설계 철학을 추적한다.
AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 2
미분가능성의 계층 — 편미분에서 역전파까지
편미분이 존재해도 전미분이 없을 수 있다는 사실부터, 야코비안-헤시안-연쇄법칙이 하나의 선형근사 철학으로 통일되는 구조까지, 딥러닝 최적화의 수학적 뼈대를 추적한다.