#spectral-radius

RNN의 Vanishing Gradient는 왜 피할 수 없는가

Spectral radius가 vanishing과 exploding을 결정하는 원리부터 gradient clipping, orthogonal init, IRNN까지 — RNN이 긴 의존성을 학습하지 못하는 근본 원인을 추적한다.