AI 2026.04.28 · 10 min
Advanced Calculus Optimization Deep Dive · 3
손실 함수의 기하학 — 헤시안이 최적화를 지배하는 방식
다변수 테일러 전개의 2차 항부터 조건수와 수렴 속도의 관계까지, 경사하강법과 뉴턴 방법의 이론적 기반을 추적한다.
tag
#saddle-point
총 2개의 글
AI 2026.04.28 · 13 min
Advanced Optimization Theory Deep Dive · 5
Loss Landscape는 어떻게 생겼는가
고차원 saddle point의 통계적 희귀성부터 NTK의 lazy regime까지, 딥러닝 loss landscape의 기하학을 하나의 프레임으로 추적한다.