AI 2026.04.27 · 12 min
Advanced Transformer Deep Dive · 1
Attention은 왜 그렇게 설계됐는가
Scaled dot-product attention의 수학적 필연성부터 softmax 포화, 커널 해석, 멀티헤드의 표현력, 해석 가능성 논쟁까지 — Transformer의 핵심 설계 결정을 추적한다.
tag
#multi-head
총 1개의 글
총 1개의 글
Scaled dot-product attention의 수학적 필연성부터 softmax 포화, 커널 해석, 멀티헤드의 표현력, 해석 가능성 논쟁까지 — Transformer의 핵심 설계 결정을 추적한다.