고유값은 행렬의 무엇을 말하는가

특성다항식의 불변량부터 Perron-Frobenius의 지배 고유값까지, 고유값이 행렬의 기하·동역학·수치적 성질을 어떻게 결정하는지 추적한다.

행렬 $A$ 에 대해 $A\mathbf{v} = \lambda \mathbf{v}$ 를 만족하는 $\lambda$ 를 고유값이라 부른다. 단순해 보이는 이 정의가 행렬의 기하적 구조, 반복 시스템의 장기 거동, 수치 계산의 안정성을 모두 지배한다. 왜 고유값 하나가 이토록 많은 것을 결정하는가?

특성다항식: 고유값의 대수적 지문

$\lambda$ 가 $A$ 의 고유값인 것과 $\det(\lambda I - A) = 0$ 인 것은 동치다. 이로부터 특성다항식이 정의된다.

p_A(\lambda) = \det(\lambda I - A) = \lambda^n - c_1\lambda^{n-1} + c_2\lambda^{n-2} - \cdots + (-1)^n c_n

계수 $c_k$ 는 $A$ 의 $k \times k$ 주부분행렬식의 합이다. 특수한 경우로 $c_1 = \operatorname{tr}(A) = \sum_i \lambda_i$ , $c_n = \det(A) = \prod_i \lambda_i$ 가 성립한다. 특성다항식의 계수는 좌표계와 무관한 $A$ 의 불변량이다.

Cayley-Hamilton 정리는 행렬이 자신의 특성다항식을 소멸시킨다고 말한다: $p_A(A) = 0$ . “꼼수 증명”으로 $p_A(A) = \det(AI - A) = \det(0) = 0$ 이라 쓰고 싶지만, 이는 스칼라 $\lambda$ 를 행렬 $A$ 로 치환하는 과정의 의미를 혼동한다. 올바른 증명은 adjugate를 통해 다항식 행렬 항등식으로 정립하고, $\lambda = A$ 대입이 가환환에서 정당함을 보인다.

✎ Cayley-Hamilton의 응용

$A$ 가 정칙이면 $p_A(A) = 0$ 을 $A$ 로 인수분해해 역행렬을 구할 수 있다: $A^{-1} = -\frac{1}{a_0}(A^{n-1} + a_{n-1}A^{n-2} + \cdots + a_1 I)$ . 이론적으로 아름답지만, 수치적으로는 조건수를 증폭시킬 수 있어 실용성은 낮다.

고유값의 기하학: 행렬이 공간에 하는 일

고유벡터 $\mathbf{v}$ 는 $A$ 에 의해 방향이 보존되는 벡터다. 이 방향에서 $A$ 의 작용은 순수한 스칼라 곱이다. $\lambda$ 의 부호와 크기는 그 방향의 운명을 말해준다.

$\lambda$	기하적 행위
$\lambda > 1$	확대 (stretch)
$0 < \lambda < 1$	축소 (contract)
$\lambda = -1$	반사
복소 $a \pm bi$	$\\|\lambda\\|$ 배 확축 + $\arg\lambda$ 만큼 회전
중근, 기하 < 대수	전단 (shear), 대각화 불가

실행렬의 복소 고유값 $\lambda = a + bi$ 는 실 2차원 불변 부분공간 위에서 $|\lambda|$ 배 확축과 $\arg\lambda$ 회전으로 해석된다. 2차 선형 ODE의 진동 해가 복소 지수함수로 표현되는 것이 이 구조의 직접적인 귀결이다.

Spectral radius $\rho(A) = \max_i |\lambda_i|$ 는 반복 시스템 $\mathbf{x}_{k+1} = A\mathbf{x}_k$ 의 장기 거동을 결정한다. $\rho(A) < 1$ 이면 원점으로 수렴, $\rho(A) > 1$ 이면 발산. 마르코프 체인, PageRank, 뉴럴 네트워크의 기울기 흐름이 모두 이 하나의 수로 지배된다.

Rayleigh 몫: 최적화 문제로서의 고유값

대칭 행렬 $A$ 에 대해 Rayleigh 몫을 정의한다.

R_A(\mathbf{x}) = \frac{\mathbf{x}^T A \mathbf{x}}{\mathbf{x}^T \mathbf{x}}

$\nabla R_A(\mathbf{x}) = \mathbf{0}$ 의 해가 정확히 고유벡터이며, 그 때의 Rayleigh 값이 고유값이다. 최대·최소는 각각 $\lambda_1, \lambda_n$ 에서 달성된다.

정리 1 · Courant-Fischer Min-Max

\lambda_k = \max_{\substack{T \subset \mathbb{R}^n \\ \dim T = k}} \min_{\mathbf{x} \in T \setminus \{0\}} R_A(\mathbf{x})

▷ 증명

$T^* = \operatorname{span}(\mathbf{q}_1, \ldots, \mathbf{q}_k)$ 에서 하한 $\geq \lambda_k$ 를 보인다. 임의 $k$ 차원 $T$ 와 $n-k+1$ 차원 $S^* = \operatorname{span}(\mathbf{q}_k, \ldots, \mathbf{q}_n)$ 에 대해 차원 합이 $n+1 > n$ 이므로 $T \cap S^* \neq \{\mathbf{0}\}$ . 이 교점에서 $R_A \leq \lambda_k$ 이므로 상한도 $\leq \lambda_k$ . 두 방향 합산으로 등호를 얻는다. $\blacksquare$

∎

Courant-Fischer 정리는 고유값을 좌표계에 의존하지 않는 부분공간 최적화로 정의한다. 이로부터 Weyl의 섭동 부등식 $|\tilde{\lambda}_k - \lambda_k| \leq \|E\|_2$ 가 따라온다. 대칭 행렬의 고유값은 섭동에 Lipschitz-1 연속이다.

Perron-Frobenius: 비음 시스템의 지배 모드

PageRank, 마르코프 체인, 인구 모델이 공유하는 구조가 있다 — 행렬의 모든 성분이 비음이라는 것. Perron-Frobenius 정리는 이 구조가 스펙트럼에 강한 제약을 부과함을 말한다.

양행렬 $A > 0$ 이면 spectral radius $\rho(A)$ 는 항상 실수 양의 고유값으로 달성되고, 단순근이며, 대응하는 고유벡터는 모든 성분이 양이다. 다른 모든 고유값은 $|\lambda| < \rho(A)$ 를 만족한다.

기약(irreducible) 비음 행렬로 확장하면, 주기 $h$ 에 해당하는 $h$ 개의 동일 반지름 고유값이 단위원 위에 균등 분포한다. 원시(primitive) 조건, 즉 $h = 1$ 이면 지배 고유값이 엄격히 유일하다.

수치 계산: 알고리즘과 민감도의 균형

고유값을 실제로 계산하는 두 알고리즘은 서로 다른 질문에 답한다. Power iteration은 가장 큰 $|\lambda|$ 하나를 $O(|\lambda_2/\lambda_1|^k)$ 수렴률로 찾는다. QR 알고리즘은 전체 고유값을 동시에 계산한다 — 기본형은 $O(n^3)$ /iter으로 느리지만, Hessenberg 감소와 Wilkinson shift를 적용하면 shifted inverse iteration 수준의 3차 수렴이 보장된다.

⚠ 비대칭 행렬의 고유값은 무한히 민감할 수 있다

대칭 행렬의 고유값 조건수는 1 (Weyl 부등식). 비대칭 행렬에서 조건수는 $\operatorname{cond}(\lambda_i) = 1/|\mathbf{u}_i^H \mathbf{v}_i|$ 로, 좌·우 고유벡터가 거의 직교하면 발산한다. Wilkinson의 20차 다항식 $\prod_{k=1}^{20}(x-k)$ 에서 $x^{19}$ 계수를 $10^{-7}$ 섭동했을 때 일부 근이 복소수로 변하며 수 단위 이동하는 것이 이 민감도의 실물이다. Pseudospectrum $\Lambda_\epsilon(A)$ 는 ” $\epsilon$ 크기 섭동으로 도달 가능한 고유값 전체”를 보여준다 — 비정규 행렬에서 이 영역은 실제 스펙트럼보다 훨씬 넓게 퍼진다.

정리

특성다항식의 계수 $c_k$ 는 행렬의 불변량이며, Cayley-Hamilton은 이 다항식이 행렬 자신을 소멸시킴을 보장한다.
고유값의 실수부·허수부·절댓값은 각각 확축·회전·장기 안정성을 결정한다. Spectral radius $\rho(A)$ 가 반복 시스템의 운명을 지배한다.
Rayleigh 몫은 고유값을 부분공간 최적화로 재해석하며, Courant-Fischer와 Weyl 섭동 부등식의 출발점이 된다.
비음 행렬에서 Perron-Frobenius는 하나의 지배 모드가 장기 거동을 결정함을 보장한다. PageRank, 마르코프 체인, 인구 모델의 수학적 근거다.
대칭 고유값은 수치적으로 안전하지만, 비대칭은 조건수가 폭발할 수 있다. np.linalg.eigh vs eig의 선택이 알고리즘의 문제가 아니라 수학적 구조의 문제인 이유가 여기 있다.

다음 챕터에서는 고유값 분해가 정의되지 않는 비정사각·특이 행렬에 대해 항상 존재하는 분해, 특이값 분해(SVD)를 다룬다.

REF

Wilkinson, J. H. · 1965 · The Algebraic Eigenvalue Problem · Oxford University Press

REF

Golub, G. H. and Van Loan, C. F. · 2013 · Matrix Computations · Johns Hopkins University Press (4th ed.)