AI 2026.04.28 · 12 min
Advanced Gnn Deep Dive · 4
GNN은 어디까지 그래프를 구분할 수 있는가
1-WL 색 정제부터 GIN의 최적성 증명, k-WL 위계, 위치 인코딩까지 — GNN 표현력의 이론적 천장과 그 우회 전략을 추적한다.
tag
#positional-encoding
총 3개의 글
AI 2026.04.28 · 14 min
Advanced Neural Network Theory Deep Dive · 7
Transformer는 왜 작동하는가 — 설계 결정들의 공통 뿌리
√d_k 스케일링부터 Residual Connection까지, Transformer의 핵심 설계 결정들이 하나의 원칙 — '신호가 사라지지 않게 하라' — 에서 비롯됨을 추적한다.
AI 2026.04.27 · 12 min
Advanced Transformer Deep Dive · 3
Positional Encoding은 어떻게 진화했나
순서를 모르는 Self-Attention의 한계부터 Sinusoidal, Learned, Relative PE를 거쳐 RoPE와 ALiBi까지, 위치 정보 주입의 설계 진화를 추적한다.