AI 2026.04.28 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계되었는가
Unrolled graph에서 BPTT 유도, truncated BPTT의 메모리 절약, 복잡도 분석, RTRL까지 — RNN 학습 알고리즘의 통일된 설계 철학을 추적한다.
tag
#bptt
총 2개의 글
AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 6
RNN은 왜 긴 기억을 갖지 못하는가
Vanilla RNN의 BPTT부터 vanishing gradient의 수학적 원인, LSTM의 Constant Error Carousel, 그리고 Echo State Network까지 — 순환 구조의 설계 철학을 추적한다.