AI 2026.04.28 · 13 min
Advanced Stochastic Processes Deep Dive · 2
마르코프 체인의 네 가지 얼굴 — 전이행렬에서 에르고딕 정리까지
마르코프 성질의 수학적 정의부터 상태 분류, Perron-Frobenius 정리, 수렴률의 스펙트럴 해석, Detailed Balance, 에르고딕 정리까지 — MCMC와 강화학습의 이론적 토대를 한 줄기로 추적한다.
tag
#markov-chain
총 3개의 글
AI 2026.04.28 · 13 min
Advanced Stochastic Processes Deep Dive · 4
연속시간 마르코프 체인의 통일 원리 — Q-matrix에서 정상분포까지
CTMC의 infinitesimal generator Q-matrix부터 Kolmogorov 방정식, detailed balance, Birth-Death 과정까지 — 단 하나의 구조적 원리가 어떻게 모든 결과를 만들어내는지 추적한다.
AI 2026.04.28 · 11 min
Advanced Stochastic Processes Deep Dive · 7
MCMC는 왜 복잡한 분포에서도 작동하는가
정규화 상수 없이도 샘플링이 가능한 이유부터 Gibbs·HMC의 설계 철학과 수렴 진단까지, MCMC 프레임워크의 핵심 원리를 추적한다.