tag

#lasso

총 4개의 글

AI 2026.04.28 · 11 min Advanced Regularization Theory Deep Dive · 1

Regularization은 Prior다 — L1/L2부터 Group Sparsity까지

L2가 Gaussian prior의 negative log이고 L1이 Laplace prior인 이유부터, 기하학적 sparsity와 SVD shrinkage, 그리고 Elastic Net/Group Lasso의 구조적 확장까지 하나의 Bayesian 프레임으로 추적한다.

AI 2026.04.28 · 13 min Advanced Ml Fundamentals Deep Dive · 1

선형 회귀는 왜 최소제곱인가 — MLE부터 Lasso까지

가우시안 잡음 가정에서 MLE가 최소제곱이 되는 이유부터, 기하학적 투영·Ridge의 세 해석·Lasso의 sparsity·Bias-Variance 분해까지, 회귀 이론의 통합 구조를 추적한다.

AI 2026.04.28 · 12 min Advanced Convex Optimization Deep Dive · 3

볼록 최적화는 왜 ML의 기반인가

표준형의 전역 최솟값 보장부터 LP·QP·SDP 계층, 모델링 기법, DCP 자동 검증까지 — 볼록 최적화의 설계 철학을 추적한다.

AI 2026.04.28 · 12 min Advanced Convex Optimization Deep Dive · 6

Proximal Operator는 왜 경사하강법의 일반화인가

비매끄러운 손실함수를 다루는 proximal operator의 정의부터 ISTA/FISTA의 수렴률 차이, ADMM의 분산 학습 적용까지, 현대 최적화의 핵심 구조를 추적한다.