AI 2026.04.28 · 13 min
Advanced Information Theory Deep Dive · 1
왜 ML의 모든 손실 함수에는 로그가 있는가
Shannon의 세 공리에서 $-\log p$가 유일하게 강제되는 이유부터, 엔트로피·상호정보량·최대 엔트로피 분포까지 — ML 수식 속 로그의 기원을 추적한다.
tag
#cross-entropy
총 3개의 글
AI 2026.04.28 · 12 min
Advanced Ml Fundamentals Deep Dive · 2
Logistic Regression의 통일 철학 — MLE가 모든 것을 설명한다
왜 sigmoid인가, 왜 cross-entropy인가, 왜 softmax인가. Bernoulli MLE 한 줄 유도부터 분리 문제·Firth 보정까지, 분류 알고리즘의 공통 뿌리를 추적한다.
AI 2026.04.28 · 11 min
Advanced Information Theory Deep Dive · 6
정보이론은 어떻게 AI의 모든 손실함수를 하나로 설명하는가
Cross-Entropy와 MLE의 동등성부터 ELBO 분해, MDL, Information Bottleneck, Diffusion ELBO, Fisher 기하까지 — AI 학습 목적함수의 공통 뿌리를 추적한다.