AI 2026.04.28 · 13 min
Advanced Information Geometry Deep Dive · 1
분포 공간이 휘어진 이유 — 정보기하의 기초
확률분포족을 다양체로 보는 발상부터 Fisher-Rao 측지선, Levi-Civita 연결의 유일성까지, 정보기하의 기하학적 토대를 추적한다.
tag
#information-geometry
총 8개의 글
AI 2026.04.28 · 13 min
Advanced Information Geometry Deep Dive · 2
Fisher 정보량은 왜 세 얼굴을 가지는가
통계다양체의 기하학적 토대부터 Fisher 정보의 세 정의 동치성, Chentsov 유일성 정리, 그리고 Cramér-Rao 하한의 기하학적 의미까지 — 정보기하학의 핵심 구조를 추적한다.
AI 2026.04.28 · 13 min
Advanced Mathematical Statistics Deep Dive · 2
지수족은 왜 통계학의 중심에 있는가
충분통계량의 압축 원리부터 지수족의 로그분할함수, MLE 모멘트 매칭, Basu 정리까지 — 데이터를 파라미터로 연결하는 하나의 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Information Geometry Deep Dive · 3
KL 발산은 하나가 아니다 — α-divergence와 정보기하의 통일 언어
KL 발산의 정보이론적 기원부터 Bregman 발산과의 동치, α-divergence 가족까지 — 현대 AI 손실 함수를 관통하는 하나의 기하학적 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Information Geometry Deep Dive · 4
지수족은 왜 분포 공간의 아핀 부분다양체인가
로그밀도의 선형성에서 출발해 쌍대평탄(dually flat) 구조까지, 지수족이 정보기하의 중심이 되는 이유를 추적한다.
AI 2026.04.28 · 12 min
Advanced Information Geometry Deep Dive · 5
Natural Gradient는 왜 좌표를 묻지 않는가
유클리드 gradient의 parameterization 의존성 문제부터 Fisher 계량 하의 steepest descent 유도, K-FAC·Shampoo의 실전 근사까지, Natural Gradient의 철학과 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Information Geometry Deep Dive · 6
KL divergence 최소화는 왜 두 개의 다른 연산인가
e-projection과 m-projection의 비대칭성에서 출발해 EM 알고리즘, Variational Inference, MaxEnt까지, KL 기하학의 통일 원리를 추적한다.
AI 2026.04.28 · 10 min
Advanced Information Geometry Deep Dive · 7
정보기하가 현대 AI를 어떻게 만드는가
Natural Policy Gradient의 Fisher 역행렬부터 확산 모델의 Fisher divergence까지, 정보기하의 단일 철학이 RL·생성 모델·샘플링에 어떻게 관통하는지 추적한다.