양의 정부호 행렬 positive definite matrix

• 에르미트 행렬(hermitian matrix)[1]은 정부호행렬(definite matrix)이거나 부정부호행렬(indefinite matrix)이다.
• 정부호행렬에는 네 종류가 있다.
• 양의 준정부호행렬(positive semi-definite matrix)
• 양의 정부호행렬(positive definite matrix)
• 음의 준정부호행렬(negative semi-definite matrix)
• 음의 정부호행렬(negative definite matrix)
• 부정부호행렬

이들은 고윳값의 부호들에 의해 판단된다. 다른 부호끼리 섞여있으면 부정부호행렬, 같은 부호끼리만 있으면 정부호행렬, 0이 포함되면 준정부호행렬이 된다.

---

양의 정부호행렬로 돌아가자면, 다음 명제들은 동치(equivalent)이다.

• 행렬이 positive definite
• 모든 eigenvalue가 양수
• 모든 sub-matrix들의 det.가 양수
• 모든 pivot들이 양수

에르미트 행렬은 quadratic formula와 연관이 깊은데, 예를 들어 2원2차방정식(bivariate quadratic equation)은 벡터와 행렬로 보기 좋게 표시할 수 있다.

$ax_{1}^2+2bx_{1}x_{2}+cx_{2}^2= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} a & b \\ b &c \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} =\mathbf{x}^T\mathbf{A}\mathbf{x}=Q(\mathbf{x})$

$Q(\mathbf{x})=1$ 를 $\mathbf{A}$에 따라 그려보면,

그림 1

그림 1을 보면, pivot들의 부호에 따라 곡선의 모양이 결정된다는 것을 알 수 있다. 이것은 함수값이 특정값 ( $=1$ )일 때만 본 것이니까, 모든 함수값에 대해서 그림을 그려보면 그림 2와 같게 된다.

그림 2

$\mathbf{A}=\begin{bmatrix} 1 & 0 \\ 0 & -1 \end{bmatrix}\Rightarrow\text{hyperbolic paraboloid}, \quad \mathbf{A}=\begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}, \quad \mathbf{A}=\begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}\Rightarrow\text{elliptic paraboloid}$

좌측의 부정부호행렬은 hyperbolic paraboloid[2]를,
중앙의 양의 준정부호행렬은 parabolic cylinder를,
우측의 양의 정부호행렬은 elliptic paraboloid를 만들게 된다.

결국 그림 1은 그림 2를 특정 $x_1$─$x_2$ 평면으로 자른 단면이다.

에르미트 행렬은 그 특수성으로 쉽사리 보기 힘들다고 생각할 수 있는데, 실은 공분산행렬(covariance matrix)이 그 좋은 예이다. $d$차원 데이터의 차원 사이의 분포가 어떤 상관성을 띠는지 나타내거나, 비용함수의 최적해를 찾아낼 때 쓰인다. 예를 들어 비용함수가 elliptic paraboloid 꼴이라면, gradient를 통해서 유일한 극소값을 찾아낼 수 있다.

---

[1] Charles Hermite은 프랑스 수학자로, 찰스 허밋이 아니라 샤를 에르미트이다. 그러므로 에르미시앙 행렬로 부르는 게 가장 맞겠으나[3],에르미트 행렬로 부른다. 하지만 많은 사람들이 그냥 영어식으로 허미션 매트릭스라고 부른다.

[2] hyperbolic paraboloid은 hyperboloid와 다른 것이니 혼동 주의.
[3] Bayesian theorem도 한국어로는 베이즈 정리라고 한다.