이번 챕터에선 Inverse Function Theorem, Implicit Function Theorem에 이어서, 드디어 마지막인 Rank Theorem에 대해서 이야기 해보려고한다.
방정식의 해의 존재성에 관한 전반적인 이야기는 앞 챕터에서 다루었기 때문에 생략하겠다. (17-1, 17-2 참고!)
앞에서 보아서 알겠지만, 남은 이야기는 결국 (변수 개수) < (식의 개수) 인 경우인데, Pseudo-Inverse 라는 것과 관련이 있다고 했었다.
Pseudo-Inverse에 관한 내용을 선형대수에서 다룬다고는 했지만, 도저히 안 쓰고는 넘어가기가 그래서, 여기서 딱 필요한 정도만 다룬다...
먼저, 이를 위해서 선형대수 내용을 더 끌어오자.... (물론, 가장 좋은 건 선형대수 내용을 보고 오는 것!)
(Space of Matrices)
주어진 행렬 A에 대해서
1. Null Space of A (N(A))
2. Column Space of A -> Range of A (R(A))
3. Rank
4. Projection of X
(NOTE) -> 꼭 정사각행렬일 필요는 없다!
즉, 어떤 x가 한번 P에 의해서 움직여지면, Px는 P의 Range에 있게 될텐데, 이제 이 Px는 P에 의해서 꼼짝도 못한다... 그냥 그 자리에 Fix된다.
게다가, Projection이라는 이름답게, 진짜로 Projection의 성질(Range of P에 수직으로 정사영!)을 가지고 있다!
Projection의 성질에 대해서 더 알아보면
1.
위의 그림에서 파란색 x가 빨간색(x_1)과 검은색 선(x_2)로 (유일하게) 쪼개지는 것과 같다!
(증명)
주어진 x에 대해서 다음과 같이 접근하자.
2.
모든 Sub-vector space에 대해서, projection이 존재한다는 말이다.
(증명)
억지로 저 Projection을 만들어보자!
여기서 Pseudo Inverse에 대한 약간의 논의를 하자면...
먼저, 식의 개수가 변수의 개수보다 많을 때.. 즉, 행렬로 보면 열의 개수가 행보다 더 많은 경우(세로로 길쭉한 경우)
정보가 차고 넘쳐서... 오히려 주어진 식을 다 만족시키지 못하는 경우가 생긴다.
예를 들어서,
이라는 식을 다 만족하는 x,y는 없을 것이다....
사실, 위의 연립방정식은 "z"라는 안 쓸 변수 하나가 더 있었다면, 풀 수 있을 것이다...
즉, 3차원(식의 개수) 문제를 푸는데, 2차원(변수의 개수)에서 보니까 안 풀린 것이다.
EX)
그냥 개념적인 예시로,
의 해는 실수(1차원)에서는 없다.
하지만, 차원을 올려서 생각한다면(즉, 복소수에서 생각한다면) x=i=(0,1)이라는 해가 분명히 존재한다...
그러면, 다시 연립방정식의 상황으로 돌아와서, "2차원에서 볼 때", 3차원 문제의 최적의 해는 무엇일까???
-> 바로 Projection을 이용하는 것이다.
-> 여기서, 3차원 공간에서 나온 해를 파란색 선(x)라고 하면
-> 2차원 공간(평면)에서의 최적의 해는 x를 평면으로 Projection한 빨간색 선(Px)가 된다!
왜냐하면, Projection이 평면에 "수직"하게 -> x와 Px의 차이를 가장 minimize해 주기 때문이다.
그러면, 다음과 같은 전개를 할 수 있다.
즉, 여기서 Pseudo Inverse는 저 위의 P가 된다.... (숫자를 임의로 잡아서 했더니 숫자가 많이 더럽네요....)
(위에서 Projection 만드는 것은 다음과 같이 생각하자!
-> 3차원에서 [3,2,1]은 R(A)에서는 [1,0]으로 보일 것이다!
-> 3차원에서 [1,-1,3]은 R(A)에서 [0,1]로 보일 것이다!
-> 마지막 basis로 뽑은 것은, [3,2,1],[1,-1,3]의 외적이다. -> 두 벡터에 모두 수직! -> 그러므로, 2차원평면(R(A))에서 보면 안 보인다... -> [0,0]으로 보일 것이다!)
그러므로, 가장 최적의 해로 나온 x,y는
이다.
즉, 여기서 P는 마치 Inverse Matrix의 역할을 하는 것처럼 보인다. 이 P를 Pseudo Inverse라고 한다!
아마 이것만 보고 다 알기는 힘들겠지만, 기존에 가지고 있던 선형대수에 관한 궁금증이 약간은 풀렸기를 바라면서 Rank Theorem으로 들어간다!
(Rank Theorem)
결국엔 이것이 말하는 바도, 역함수(역행렬)의 존재성, 그리고, 미분가능성(C^1함수)이다!
(증명)
1. 먼저 저 Projection의 존재성을 확인해보자
Y1이 A의 Range이므로, finite-dimension이다. 그러므로 위의 2번 성질에 의해서 Y1으로 매핑되는 P가 존재한다.
그리고, 이 때 P의 Null space를 그냥 Y2라고 놓자. -> P는 존재한다!
2. 앞에서 했던 것처럼, 위를 만족하는 U,V를 잡아보자!
(1) rank F'(x)=r=0 -> F'(x)=0
E에서 F(x)가 상수가 되기 때문에,
로 잡으면, 저 위의 모든 식을 만족한다!
(2) r>0
R^n에서 R(A)=Y_1으로 차원을 낮춰주는 mapping S를 잡아보자!
그러면 SP는 사실 A의 역함수의 역할(처럼) 행동을 하게 된다. -> Pseudo-Inverse!
그리고 우리가 역함수 정리에서 했던 Contraction처럼 mapping G를 잡아보자.
자, 그러면 이 G는 실제로 역함수 정리를 그대로 사용할 수가 있다!!! -> G'(a)가 Invertible하므로....
그러면 다음처럼 U,V를 잡을 수 있고, 거기에서 (G의) 역함수도 존재한다!
(NOTE)
여기서 구한 V는 open ball이므로, 이 V를 줄일 수도 있다!
이 때, 위에서 구한 S와 P에 대해서 다음과 같이 생각할 수 있고, 여기서 F(H(x))의 나머지 부분... -> psi(x)라고 놓자!
그러면, 여기서 psi(x)가 C1-mapping임을 알 수 있다.
이제 남은건 저 psi(x)를 위에 있는 phi(Ax)로 대체할 수 있냐는 것이다.
(a) Uniqueness
즉, 함수의 well-definedness을 체크하면 된다.(같은 거 들어가면 같은거 나와야 함!)
이를 증명하기 위해서 F(H(x))의 성질을 체크해보자...
줄어든 범위 V'에서 rank를 계산해보면 r이 나오는데(분해했을 때 최솟값 택하면 된다.)
이 때, P를 태워보내서 생각해보면, 여기서 P의 의미는 저 빨간부분을 보고 생각하면 된다.
->>> 1. R(A)의 모든 원소에 P를 태워서 보낼 수 있기 때문에, onto!
(즉, Ah에 대응되고 싶으면 phi'(x)h를 넣어서 보내면 됨)
->>> 2. 또한, M과 Y1의 rank(dimension)이 동일하기 때문에 1-to-1 함수!
(즉, Ah -> r개의 basis로 표현 -> 거기에 대응되는 M도 r개의 Unique한 basis들의 합으로 표현!)
그리고,
자 그럼 이제 well-definedness를 증명해보자.
자 그러므로... 일단은 바꿔치기가 가능하다. 즉
(b) 이 때, phi가 psi 성질을 그대로 끌고 오는지 확인해줘야 한다.
즉, phi(x)도 C1-mapping인지 확인하자!
위에서 S가 연속이기 때문에 open set 사이에 저런 논의가 가능하다!
그러므로 증명이 끝난다!
정리해보면...
1. 저런 Projection이 존재하는지 증명한다.
2. A의 pseudo-inverse SP와 contraction G를 이용해서, 역함수 정리를 이용해서 (G의 inverse) H가 U,V에서 존재함을 보인다!
3. 미분가능성의 경우 pseudo-inverse SP, Projection P를 이용해서 보인다!
4. 나머지 부분을 psi(x)라고 놓고, 이것이 위에 나온것처럼 phi(Ax)로 바꿔치기 가능한지 보이자! -> Projection이 1-to-1, onto(1대1대응)이라는 것을 이용한다!
자, 이해하는게 많이 어려울텐데, 다음과 같은 생각을 해보자
(Meaning of Rank Theorem)
1.
P를 다음과 같은 mapping이라고 볼 수 있다.
게다가 여기서 P는 1-to-1, onto(1대1대응)이 되므로, F(U)와 A(V)를 1대1 매칭을 시켜줄 수 있다!
그렇다면 F(U)는 A(V)에 의해서 표현이 되는 것이므로 똑같이 r-dimension이라고 생각할 수 있다.
2.
위의 그림에서 x대신 y라고 생각해보자...
그러면 Projection의 의미에 따라서...
-> Py는 Range of P에 있고, phi(Py)는 N(P)에 있다.
-> Py, phi(Py)는 서로 수직!
3. 역함수의 존재조건
여기서의 역함수 H는 정확히 F의 역함수는 아니고, G의 역함수이다.
그러나, 만약에 A가 Full-rank였다면, SP가 정확히 역행렬이 나오게 되므로, 역함수 정리와 동일한 결론을 얻는다.
즉, 여기서는 A가 Full-rank가 아닌 경우, Pseudo-Inverse SP가 역행렬 역할을 그대로 해주므로,
기존의 역함수정리, 음함수정리와 동일한 논의를 해주면 된다!
--> 즉, r=(rank A) 개의 개수만큼 변수를 구할 수 있다는 것이다! -> R(P)=R(A)
(이 때, 나머지 변수들을 우리가 지정해줘야 구할 수 있음 -> N(P))
또한, 이 때, Full-rank가 아닌 경우에는 Pseudo-Inverse를 쓰면 된다는 것을 알 수 있다!
쉽게 쓰려고 했는데, 꽤 많이 어려워진거 같다...
이해가 잘 안되면, 그냥 역함수정리와 음함수정리를 확장한 것으로 보자.
여기까지 역함수정리, 음함수정리, Rank Theorem까지 보았고,
다음 시간에는 High-order Derivatives에 관해서 알아보자!
