AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 4
압축은 이해다 — Shannon이 증명한 정보의 한계
Kraft 부등식과 엔트로피의 관계부터 AEP의 Typical Set, Arithmetic Coding까지, 소스 코딩 정리가 LLM의 cross-entropy loss를 어떻게 설명하는지 추적한다.
tag
#llm
총 3개의 글
AI 2026.04.28 · 12 min
Advanced Generalization Theory Deep Dive · 7
LLM의 스케일링은 예측 가능한가
Chinchilla compute-optimal ratio의 수학적 유도부터 Broken Scaling Law, Emergent Abilities 논쟁, ICL의 implicit gradient descent 이론까지, LLM 스케일링의 예측 가능성을 추적한다.
AI 2026.04.27 · 15 min
Advanced Transformer Deep Dive · 7
LLM은 왜 클수록 똑똑한가 — Scaling Laws의 세계
Kaplan 2020의 power-law 발견부터 Chinchilla의 compute-optimal 역전, In-Context Learning의 출현, CoT의 emergence, 그리고 Transformer의 이론적 한계까지, 현대 LLM 설계의 과학적 토대를 추적한다.