AI 2026.04.28 · 12 min
Advanced Neural Network Theory Deep Dive · 4
신경망 초기화는 왜 이렇게 복잡해졌는가
대칭성 깨기부터 Fixup까지, 분산 보존이라는 하나의 원칙이 Xavier, He, LSUV, Orthogonal 초기화를 어떻게 파생시켰는지 추적한다.
tag
#variance-preservation
총 1개의 글
총 1개의 글
대칭성 깨기부터 Fixup까지, 분산 보존이라는 하나의 원칙이 Xavier, He, LSUV, Orthogonal 초기화를 어떻게 파생시켰는지 추적한다.