AI 2026.04.28 · 13 min
Advanced Calculus Optimization Deep Dive · 2
미분가능성의 계층 — 편미분에서 역전파까지
편미분이 존재해도 전미분이 없을 수 있다는 사실부터, 야코비안-헤시안-연쇄법칙이 하나의 선형근사 철학으로 통일되는 구조까지, 딥러닝 최적화의 수학적 뼈대를 추적한다.
tag
#jacobian
총 4개의 글
AI 2026.04.28 · 10 min
Advanced Neural Network Theory Deep Dive · 3
역전파는 왜 단 한 번의 backward pass로 충분한가
Jacobian과 연쇄법칙의 행렬 버전부터 softmax + cross-entropy의 기적적인 gradient까지, 역전파 알고리즘의 수학적 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 7
딥러닝 미분의 통일된 언어 — 야코비안에서 암묵적 미분까지
Softmax 야코비안의 행렬 구조부터 DEQ의 고정점 역전파, MAML의 2차 미분까지 — 딥러닝 최적화를 관통하는 하나의 언어를 추적한다.
AI 2026.04.27 · 11 min
Advanced Generative Model Deep Dive · 4
Normalizing Flow의 모든 설계 결정은 하나의 제약에서 나온다
Change of variables 공식의 두 조건 — invertibility와 tractable Jacobian — 이 어떻게 Coupling, Autoregressive, Continuous Flow의 architecture를 각각 다르게 강제하는지 추적한다.