AI 2026.04.28 · 14 min
Advanced Convex Optimization Deep Dive · 1
볼록 집합이 최적화에 황금 티켓을 부여하는 이유
선분 하나가 닫혀 있다는 조건이 어떻게 전역 최적 보장, 쌍대 이론, SVM, LP 꼭짓점 탐색까지 연결되는가를 추적한다.
tag
#convex-optimization
총 8개의 글
AI 2026.04.28 · 11 min
Advanced Optimization Theory Deep Dive · 1
Gradient Descent의 수렴 보장은 어디까지인가
Steepest descent의 기하학적 유도부터 convex/strongly convex/non-convex 수렴 속도 비교, proximal gradient까지 — GD 계열 알고리즘의 이론적 한계를 추적한다.
AI 2026.04.28 · 11 min
Advanced Convex Optimization Deep Dive · 2
볼록 함수의 세 가지 얼굴 — Jensen, Epigraph, Gradient
볼록 함수를 정의하는 세 동치 조건부터 강볼록성·조건수·켤레 함수까지, 경사하강법의 수렴 보장이 어디서 오는지를 추적한다.
AI 2026.04.28 · 12 min
Advanced Convex Optimization Deep Dive · 3
볼록 최적화는 왜 ML의 기반인가
표준형의 전역 최솟값 보장부터 LP·QP·SDP 계층, 모델링 기법, DCP 자동 검증까지 — 볼록 최적화의 설계 철학을 추적한다.
AI 2026.04.28 · 13 min
Advanced Convex Optimization Deep Dive · 4
Lagrangian 쌍대성은 왜 SVM을 가능하게 하는가
Lagrangian에서 쌍대 함수를 정의하고, 약쌍대성과 강쌍대성의 차이, KKT 조건의 필요충분 역할, 그림자 가격의 경제 해석까지 — 쌍대 이론의 통일된 구조를 추적한다.
AI 2026.04.28 · 12 min
Advanced Convex Optimization Deep Dive · 5
경사하강법은 얼마나 빠른가 — 수렴 이론의 전체 지도
L-smooth 볼록 함수의 O(1/k) 수렴부터 Nesterov 가속의 최적성, 뉴턴 방법의 이차 수렴, 분산 감소 기법의 선형 수렴까지 — 1차 최적화 이론의 핵심 정리를 하나의 흐름으로 추적한다.
AI 2026.04.28 · 12 min
Advanced Convex Optimization Deep Dive · 6
Proximal Operator는 왜 경사하강법의 일반화인가
비매끄러운 손실함수를 다루는 proximal operator의 정의부터 ISTA/FISTA의 수렴률 차이, ADMM의 분산 학습 적용까지, 현대 최적화의 핵심 구조를 추적한다.
AI 2026.04.28 · 14 min
Advanced Convex Optimization Deep Dive · 7
볼록 최적화는 머신러닝을 어떻게 설명하는가
Logistic Regression의 수렴 보장부터 SVM 쌍대성, L1 희소성의 기하학, 비볼록 딥러닝의 역설, 그리고 온라인 학습의 Regret 경계까지 — 볼록 최적화라는 하나의 렌즈로 추적한다.