AI 2026.04.27 · 13 min
Advanced Transformer Deep Dive · 5
Attention의 O(T²) 벽을 어떻게 부수는가
Self-attention의 이차 복잡도가 만드는 메모리·시간 병목의 근원부터, Linear·Sparse·Flash·MQA/GQA 네 가지 해법의 수학적 원리와 트레이드오프까지 추적한다.
tag
#long-context
총 1개의 글
총 1개의 글
Self-attention의 이차 복잡도가 만드는 메모리·시간 병목의 근원부터, Linear·Sparse·Flash·MQA/GQA 네 가지 해법의 수학적 원리와 트레이드오프까지 추적한다.