AI 2026.04.28 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계되었는가
Unrolled graph에서 BPTT 유도, truncated BPTT의 메모리 절약, 복잡도 분석, RTRL까지 — RNN 학습 알고리즘의 통일된 설계 철학을 추적한다.
tag
#computational-graph
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Calculus Optimization Deep Dive · 5
역전파는 어떻게 수십억 파라미터의 기울기를 한 번에 계산하는가
계산 그래프와 자동미분의 수학적 구조부터 기울기 소실·폭발의 원인과 해결책, Autograd 엔진의 내부 동작까지 딥러닝 최적화의 핵심을 추적한다.