AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 1
왜 ML의 모든 손실 함수에는 로그가 있는가
Shannon의 세 공리에서 $-\log p$가 유일하게 강제되는 이유부터, 엔트로피·상호정보량·최대 엔트로피 분포까지 — ML 수식 속 로그의 기원을 추적한다.
tag
#entropy
총 2개의 글
AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 4
압축은 이해다 — Shannon이 증명한 정보의 한계
Kraft 부등식과 엔트로피의 관계부터 AEP의 Typical Set, Arithmetic Coding까지, 소스 코딩 정리가 LLM의 cross-entropy loss를 어떻게 설명하는지 추적한다.