AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 1
왜 ML의 모든 손실 함수에는 로그가 있는가
Shannon의 세 공리에서 $-\log p$가 유일하게 강제되는 이유부터, 엔트로피·상호정보량·최대 엔트로피 분포까지 — ML 수식 속 로그의 기원을 추적한다.
series · information-theory-deep-dive
📚 Information Theory Deep Dive
총 6편 · 순서대로 읽기를 권장
AI 2026.04.28 · 12 min
Advanced Information Theory Deep Dive · 2
KL에서 Wasserstein까지 — 분산(divergence)은 무엇을 측정하는가
KL의 비음수성 증명부터 Forward/Reverse KL의 기하학, JSD와 GAN의 이론적 연결, f-divergence 통일 프레임, Wasserstein의 등장까지 — 분포 간 거리의 설계 철학을 추적한다.
AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 3
상호정보량은 현대 표현학습의 언어다
MI의 기본 정의부터 DPI, Fano 부등식, MINE 추정, InfoNCE 기반 대조학습까지 — 표현학습의 설계 결정을 하나의 정보이론적 프레임으로 추적한다.
AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 4
압축은 이해다 — Shannon이 증명한 정보의 한계
Kraft 부등식과 엔트로피의 관계부터 AEP의 Typical Set, Arithmetic Coding까지, 소스 코딩 정리가 LLM의 cross-entropy loss를 어떻게 설명하는지 추적한다.
AI 2026.04.28 · 12 min
Advanced Information Theory Deep Dive · 5
Shannon 채널 코딩 정리 — 존재 증명이 60년을 이끌었다
채널 용량 C의 정의부터 Achievability·Converse 증명, Polar·LDPC가 그 한계에 도달하는 방식까지, Shannon 정리가 AI 이론의 기반이 되는 과정을 추적한다.
AI 2026.04.28 · 11 min
Advanced Information Theory Deep Dive · 6
정보이론은 어떻게 AI의 모든 손실함수를 하나로 설명하는가
Cross-Entropy와 MLE의 동등성부터 ELBO 분해, MDL, Information Bottleneck, Diffusion ELBO, Fisher 기하까지 — AI 학습 목적함수의 공통 뿌리를 추적한다.