AI 2026.04.28 · 10 min
Advanced Rnn Lstm Deep Dive · 2
RNN 학습은 왜 이렇게 설계되었는가
Unrolled graph에서 BPTT 유도, truncated BPTT의 메모리 절약, 복잡도 분석, RTRL까지 — RNN 학습 알고리즘의 통일된 설계 철학을 추적한다.
tag
#sequence-modeling
총 3개의 글
AI 2026.04.28 · 11 min
Advanced Rnn Lstm Deep Dive · 4
LSTM은 어떻게 기억하는가 — CEC에서 GRU까지
Vanishing gradient의 근본 원인부터 Constant Error Carousel의 수학적 증명, forget bias 초기화의 결정적 효과, GRU의 단순화까지 — LSTM 설계 철학의 전체 흐름을 추적한다.
AI 2026.04.28 · 12 min
Advanced Rnn Lstm Deep Dive · 7
RNN에서 Mamba까지: 시퀀스 모델 진화의 단일 원리
병렬성 한계에서 출발한 RNN의 구조적 결함부터 Linear Attention, SSM, Mamba의 하드웨어 인식 설계까지 — 시퀀스 모델 진화를 관통하는 하나의 원리를 추적한다.