(선형대수학) 14-1. Definition of Positive Definite Matrix

이번 시간에는 Positive Definite Matrix에 대해서 알아보자.

 

12-2에서 Hermitian의 Eigenvalue를 구하는 문제로 다시 돌아가보자.

여기서 어떤 Complex-Valued Vector x가 들어가도

인 것을 이용해서 다음과 같이 Eigenvalue가 항상 실수임을 보였었다.

12-2에서도 언급했지만, Eigenvalue의 분모는 x의 Norm이 되므로 항상 0보다 큰 실수가 나오므로, 결국 Eigenvalue를 결정하는 것은 

이다.

 

그러면, 여기서 저 식이 실수인 것을 넘어서

이라면...???(물론 x=0인 경우는 제외)

=> Eigenvalue는 항상 0보다 큰 실수가 나올 것이다.

물론, 이 경우에 A는 항상 Hermitian(혹은 Symmetric)을 만족할 것이다.

 

이러한 느낌으로 Positive Definite Matrix를 정의해보자!

---

(Positive Definite Matrix)

1. A가 복소수행렬인 경우 => A가 Hermitian인 경우

1-1. 다음 성질을 만족하는 행렬 A를 Positive Definite Matrix라고 한다.

1-2. 또한, 다음 성질을 만족하는 A를 Positive Semi-Definite Matrix라고 한다.

2. A가 실수행렬인 경우 => A가 Symmetric인 경우

1과 비슷하게 정의하지만, x가 Complex-valued vector(복소수벡터)가 아니라, Real-valued Vector(실수벡터)인 경우만 살핀다.

2-1. 다음 성질을 만족하는 행렬 A를 Positive Definite Matrix라고 한다.

2-2. 다음 성질을 만족하는 행렬 A를 Positive Semi-Definite Matrix라고 한다.

3. 저 식의 값이 음수인 경우 => Negative (Semi) Definite Matrix도 이와 비슷하게 정의해버리면 된다!

 

(NOTATION)

A가 Positive Definite Matrix이면, 심플하게 A>0이라고 표현한다!

---

그러면, 이 Positive Definite Matrix가 어떠한 성질을 가지고 있는지 차례차례 보도록 하자.

 

(Property of Positive Definite Matrix)

1. 모든 Eigenvalue가 0보다 크다!

2. A의 Upper Left 정사각 Submatrix는 Positive Definite이고, Submatrix들의 Determinant는 항상 0보다 크다.

3. A의 모든 Pivot은 항상 0보다 크다.

 

---

1번의 내용은 12-1의 내용을 그대로 이용하면 되기 때문에 설명을 패스한다.

2번에서 Upper Left 정사각 Submatrix라고 하면 다음의 예시의 A_1,A_2,...를 말한다.

그러면 2번 내용을 증명해보자.

x^HAx의 x에 처음 k개만 성분을 가지고, 나머지 성분은 모두 0인 벡터를 집어넣어보자. 그러면, 이 값도 양수여야 한다. 그런데, A를 잘 쪼개서 생각해보면....

그러므로, Submatrix 또한 Positive Definite Matrix가 된다. => Submatrix의 Eigenvalue들이 모두 양수!

게다가, 11-1에서 보았듯이, Eigenvalue들의 곱이 Determinant이므로, (11-1의 내용은 2023-08-17 수정!)

Submatrix의 Determinant는 양수이다.

 

또한, 10-1의 determinant와 pivot과의 관계를 생각한다면... => 당연히 A의 모든 Pivot은 양수가 된다!!

 

(NOTE)

Positive Semi-Definite의 경우는 => Eigenvalue, Determinant, Pivot에 대한 조건을 0을 포함한 양수로 바꾸면 그대로 적용이 가능하다!!

 

---

Positive Definite Matrix에서 하나 더 볼 성질이 있다. 바로 Decomposition에 대한 내용이다.

 

모든 Eigenvalue가 0보다 크다라는 사실을 이용하면, Diagonalization(Positive Definite Matrix는 Hermitian이므로 항상 Diagonalization이 가능하다!)을 할 때, 다음처럼 생각해버릴 수도 있다.

Eigenvalue Matrix를 두개로 쪼개버릴 수 있고, 이를 통해서 Positive Definite Matrix를 R^HR의 꼴로 Decomposition 할 수 있다!! 또한, 이 R의 Rank는 당연히 full-rank가 된다! (Eigenvector Matrix의 rank는 Full-rank!)

 

그런데 쪼개는 방법이 하나는 아니다!!!

A가 Symmetric이라고 가정해보자. LDU Decomposition을 할 때,

이 방법 말고도 꽤나 여러가지 방법들이 있다. 특히 R이 정사각행렬이 아니어도 상관없다는 점에 주목하자!!

 

게다가 위의 내용의 역도 성립한다.

이를 증명해보자!!

---

다만, 이 내용은 Positive Semi-Definite Matrix로 가면 약간 달라진다...

왜냐하면, 위의 방법처럼 Decomposition은 할 수 있지만, Eigenvalue가 0이 될 수 있으므로, R에서 그 줄의 Vector 성분이 모두 다 0이 되어버리기 때문이다.

그러므로 Positive Semi-Definite의 경우, R이 Full-rank가 아닐 수도 있다!

 

---

Positive Definite Matrix에서 

인 것을 생각해보면,

Positive Definite Matrix는 마치 "2차식(Quadratic Form)"처럼 생각할 수 있다는 것을 느낄 것이다.

 

다음 챕터에서 이에 대한 내용을 더 살펴보자!